用 AI 分析蒙娜丽莎的微笑，情绪分析认为她没那么高兴-技术圈

作者：孙晓

编辑：麦芽杨凝音

来源：我是科学家iScientist

本文约2800字，建议阅读6分钟

本文为你介绍用算法洞察真实情绪。

合肥工业大学情感计算研究所一直致力于情绪分析的研究，本文为孙晓院长在「科普中国-我是科学家」活动的演讲实录（节选）

「科普中国-我是科学家」第 28 期活动，以「AI：人工智能，或者爱」为主题，邀请了众多人工智能界的科研工作者，分享了 AI 领域不同的研究与背后的故事。

其中，来自合肥工业大学计算机与信息学院教授、情感计算研究所所长孙晓，带来了演讲：《你可能不了解 ta 的心意，但人工智能知道》。

以下为孙晓老师演讲实录的节选部分：

AI 分析了蒙娜丽莎，识别出这些情绪

大家好，我叫孙晓，来自合肥工业大学。我是一名计算机科学家，我的工作是教计算机识别人心。

人心非常复杂，且我不是心理学家，那我怎么能去教计算机去识别人心？我想先请你来看一幅经典画作。

长久以来，科学家们都试图解密蒙娜丽莎的秘密

蒙娜丽莎的表情非常微妙。

不同背景和不同知识领域的人都对她的表情进行过一些解读：有人说她看起来非常温柔，有人说她面带严肃，也有人说她这是吃过巧克力后露出的微笑，甚至有人说她这是刚怀孕后的微笑……

大家都想尝试发现蒙娜丽莎的内心到底在想什么。

我们也通过面部表情识别程序对蒙娜丽莎的表情做了一个简单识别，结果非常有趣，我们发现：蒙娜丽莎的表情有 62% 的可能性是中性；悲哀和高兴不是主要成分，分别只占 19% 和 12%，但同时存在她的表情中。

这里的计算机面部表情识别程序，实际就是我们在教计算机去简单地识别人的表情。

？

猜一猜上图中哪一位的表情中，带有惊讶情绪？

该数据来源于多媒体技术会议 ICIP2020

做个小测验：我这里有三个动图，其中，有一个动图里的人做了一个非常微小的惊讶表情。

你是否能看出是哪一位做出了这个表情？下面来公布一下正确答案。

积极

惊讶

消极

你猜对了吗？

中间这位，露出了一个非常短暂的惊讶表情，其他两位则分别出现了短暂的积极和消极。

这其实是我们参加世界表情识别大赛时的数据。我们用人工智能算法参加了这个比赛，很荣幸地获得了第一名。

从自杀现象着手，监测微妙的心理波动

看起来，人工智能算法完全可以准确识别出那些瞬间即逝的微妙表情。那么，我们能否说它可以识别内心？

这让我想起十几年前在日本留学时参与的一些工作。

团队分析了一些自杀者生前发布于社交平台的内容

当时，我们团队关注到了一些国家和地区的自杀现象，这些自杀现象的背后有一些非常深层的心理问题。

于是我们的团队就开始去做数据收集工作，获取了一些自杀者生前的数据，包括他们的生理健康数据。

我们发现，他们的生理没有什么明显问题，但他们又的确在自己的博客或微博里记录了非常灰暗的心路历程。

于是我们团队又开始大量收集一些博客和微博的公开数据，然后请求心理学家的帮助，对这些博客和微博内容字里行间蕴含的情感进行非常细致的标注。

上图就是我们已经标注后的样子。大家可能看不太清，这也说明标注得非常细致。从篇章段落到字里行间，甚至是每一个字里面所蕴含的心理状态，都进行了标注。我们将这些教给计算机，于是计算机也学会了从文字中去探讨人的心理状态。

这项工作目前我们还在持续进行中。

如上图所示，这是两个令人悲伤的微博，两名博主已经逝去，他们的微博更新时间也分别停留在了 2012 年和 2013 年。

我们用算法对微博内容做了一些简单分析，发现在半年时间内，他们的微博心理波动出现了一些非常明显的特征，比如，发微博的总量已经非常低，尤其是一些正向的情感明显降低，而且负向情感也逐渐增多。

这些特征都体现出他们可能有非常大的心理压力，心里也非常痛苦。这些都可以通过字里行间体现出来。

算法分析两位自杀者微博中的情绪倾向

我们用微博监测心理波动，也发现了一些有意思的事。这是我们实验室的两位同学，一位男生，一位女生，他们疫情在家的半年时间里微博中体现的情感波动情况。

绿色曲线代表开心情绪，橙色代表悲伤

先看男生的微博，大部分时间都很高兴，很少出现负面情绪。基本上能脑补出来，这个男生每天笑呵呵地生活，这或许也可以从数据上支撑我们俗话说的「男人的快乐很简单」。

再看女生，各种情绪的波动错综复杂，这或许也侧面体现了「女生的心思很细腻」。

所以，我们可以通过面部表情和社交网络内容，似乎可以去对人的心理进行一些简单探测了。

普适心理计算：更复杂的心理评估

那么，我们能不能在一些更复杂的情况下，对人的心理进行更复杂的评估？

除了社交网络内容和面部表情，心理的内部状态也可以体现在眼神、行走姿态和一些生理信号，比如心率、呼吸。

如果能综合这些信息，那我们就可以更准确地发现人的内部心理状态，或者说，通过心理的外在表现去挖掘人的心理内部状态，去发现人的性格特质。

这也是我目前所从事的研究工作，叫「普适心理计算」。它是情感计算的一个分支，属于人工智能和心理学的一个交叉，人工智能借用心理学知识来探测人的心理状态。

这个视频就是我们实验室的研究成果之一。

我们综合了面部表情、语音语调、说话的内容，还有他眼睛的视角、视野以及他身体整个上半身的姿态，甚至包括他的心率，呼吸等等，判断出了他目前的心理状态。

视频里可以看到，我交给他这个任务以后，他表现得非常兴奋，数据中也能看出来他「兴奋」这一栏的值非常高；视频快结束的时候，他听说我不能带他来现场观摩，还表现出了些许失望。

既然可以通过一些心理的外在表现去探测人的内部心理，那我们能不能再深一步去探测他的性格特质？

来看这两张图片。

我安排实验室里的一位男生和一位女生分别去观察这个蒙娜丽莎的画像，同时用算法去记录他们的眼神。

越亮的地方，表示他们眼神落在这个地方的时间越久。

可能大家能比较容易猜到，右面图像的观察者是「喜欢看脸」的男生，而左边的观察者是喜欢看穿着、看各种细节的女生。

性别差异包括随之而来的性格特质差异，会让人在处理外部信息的时候产生明显的差异，这些差异也会有一些规律。那反过来，我能不能通过这些规律，倒推出你的性格特质，进行一些分析呢？

2020 年 7 月，杀害妻子的许国利接受采访画面

我们也用这个算法去分析了一些网络视频。这个视频可能大家看过，我们将分析结果包括他的人格特质，跟一些司法领域专家的结论进行了比对，也得到了一个非常匹配的结论。比如，他的情绪控制能力差，容易做出某些极端的行为。

也就是说，在同样的观测条件下，计算机算法可以做到和人基本一致。

让技术从「心」开始，帮助人类

「情感计算」是二十几年前提出的概念，它的初衷实际上是帮助那些自闭症儿童，让他们去识别自己的情绪并能控制自己的情绪，也包括对他人情绪的认知。

我刚才分享的，无论是面部表情的情感计算，还是文本的情感计算，或者更复杂的心理探测甚至包括人格的探测，都是希望利用人工智能和情感计算技术，从「心」为人提供服务。

到现在，情感计算实际上已经慢慢在落地了，在一些领域中，比如机器人或自动驾驶领域，都会或多或少应用到情感计算。我们也希望通过我们的技术手段，让情感计算在更多领域里为我们提供服务。

当然，技术为我们提供便利的同时，也会面对质疑。和其他的人工智能技术一样，大家可能对情感计算技术也抱有一些顾虑，比如可能会侵犯我们的隐私。

我觉得，我们完全可以怀抱一种开放的态度，来共同建设和完善，让技术更好地服务于人类。

从「心」开始，未来可期。

演讲嘉宾孙晓：《你可能不了解ta的心意，但人工智能知道》 | 拍摄：Vphoto

本文作者孙晓，首发于我是科学家iScientist，欢迎关注。

编辑：于腾凯

校对：汪雨晴