大型语言模型遇上文本中心的多模态情感分析:综述
数据派THU
共 4606字,需浏览 10分钟
·
2024-06-16 17:00
来源:专知 本文为论文介绍,建议阅读5分钟
近年来,大型语言模型(LLMs)展示了令人惊叹的人机对话能力,并在广泛的自然语言处理任务中表现出色,表明它们具有丰富的知识和强大的推理能力。
引言
-
人类能够获取并整合多模态细粒度信号。人类经常处于多模态情境中,通过语言、图像、声音和生理信号的综合效果,能够无缝理解他人的意图和情感。当处理情感时,人类能够敏锐地捕捉并整合来自多种模态的细粒度情感信号,并将其关联起来进行情感推理。 -
多模态表达能力。人类表达情感的方式包括语言、面部表情、身体动作、语音等。例如,在日常对话中,我们的自然语言表达可能是模糊的(如某人说“好吧”),但当结合其他模态信息(如视觉模态中的快乐面部表情或音频模态中的拉长语调)时,表达的情感是不同的。
-
LLMs和LMMs在各种多模态情感分析任务中的表现如何? -
在各种多模态情感分析任务中,利用LLMs和LMMs的方法有什么不同,它们各自的优势和局限性是什么? -
多模态情感分析的未来应用场景是什么?
大型语言模型
大型多模态模型
参数冻结范式和参数调优范式
在[208]中,作者总结了利用大型语言模型(LLMs)的两种范式:参数冻结范式和参数调优范式。
-
参数冻结应用:这种范式直接在LLMs上应用提示方法,而不需要对模型参数进行调整。根据是否需要少样本演示,参数冻结应用包括零样本学习和少样本学习。 -
参数调优应用:这种范式需要对LLMs的参数进行调整。根据是否需要对所有模型参数进行微调,参数调优应用包括全参数调优和参数高效调优。
以文本为中心的多模态情感分析任务
评论