聊聊大火的多模态

多模态机器学习，英文全称 MultiModal Machine Learning (MMML)，旨在通过机器学习的方法实现处理和理解多源模态信息的能力。

每一种信息的来源或者形式，都可以称为一种模态。例如，人有触觉，听觉，视觉，嗅觉；信息有语音、视频、文字等媒介；多种多样的传感器，如雷达、红外、加速度计等。以上的每一种都可以称为一种模态。

模态也可以有非常广泛的定义，比如我们可以把两种不同的语言当做是两种模态，甚至在两种不同情况下采集到的数据集，亦可认为是两种模态。

当下，多模态技术有着相当广泛的应用场景，如淘宝搜图、AI字幕、AI虚拟数字人、仿人交互、智能助手、商品推荐和信息流广告、视频帧人脸帧的图向量检索、语音交互等等。

我们很荣幸邀请到了拥有多项专利和多年大厂算法工程师工作经验的Peng老师，利用2小时左右的时间，为大家系统地梳理多模态技术。

直播分享内容

01

PART

Day1直播

• 01 多模态的发展与未来

  
  

• 02 论文泛读：CLIP— 多模态领域鸿蒙之钟巨作

• 03 学习路径推荐

  
  

  
  

Day2直播

• 论文精读—CLIP：多模态领域鸿蒙之钟巨作

  
  

• 01 Research background

  
  

• 02 Introduction

  
  

• 03 Model

  
  

• 04 实验

  
  

• 05 结论

02

PART

主讲老师

直播时间

03

PART

• 7月28日（周四）晚20:00-21:00

• 7月29日（周五）晚20:00-21:00
  

对多模态技术感兴趣的同学，扫下方二维码，预约直播。

扫码支付0.1元即预约成功

直播当晚会有工作人员联系你~

04

PART

多模态学习路径

01 多模态理论基础

学习多模态预训练相关论文——CLIP、ALIGN、VILT

02 自监督算法

学习一些多模态预训练可能用到的自监督方案——MAE、DINO、MOCO

03 多模态下游任务介绍

主要了解VQA任务和nlvr任务

04 多模态应用

Image Captioning案例、阿里电商跨模态检索案例。了解任务介绍、baseline搭建、模型优化、结果展示。

05 多模态项目

AI智能文案、基于多模态预训练模型的手机相册管理与检索、AI唇语识别、基于深度多模态目标检测和语义分割的自动驾驶

对多模态技术感兴趣的同学，扫下方二维码，预约直播。

扫码支付0.1元即预约成功

直播当晚会有工作人员联系你~