聊聊多模态项目
小白学视觉
共 524字，需浏览 2分钟
·
2022-04-18 23:40
多模态机器学习，英文全称 MultiModal Machine Learning (MMML)，旨在通过机器学习的方法实现处理和理解多源模态信息的能力。
每一种信息的来源或者形式，都可以称为一种模态。例如，人有触觉，听觉，视觉，嗅觉；信息有语音、视频、文字等媒介；多种多样的传感器，如雷达、红外、加速度计等。以上的每一种都可以称为一种模态。
模态也可以有非常广泛的定义，比如我们可以把两种不同的语言当做是两种模态，甚至在两种不同情况下采集到的数据集，亦可认为是两种模态。
当下，多模态技术有着相当广泛的应用场景，如淘宝搜图、AI字幕、AI虚拟数字人、仿人交互、智能助手、商品推荐和信息流广告、视频帧人脸帧的图向量检索、语音交互等等。
我们很荣幸邀请到了在职高级算法研究员Clark老师，利用1小时左右的时间，为大家系统地梳理多模态技术。
01 多模态模型的发展趋势
02 多模态数据集
03 常见多模态下游任务
4月16日晚20:00-21:00
对多模态技术感兴趣的同学，扫下方二维码，预约直播。
扫码支付0.1元即预约成功
直播晚会有工作人员联系你~
评论