表情包AI生成器：识别人脸情绪，自动配文字

点击上方“AI算法与图像处理”，选择加"星标"或“置顶”

重磅干货，第一时间送达

来源：量子位

Meme表情包，兴盛于各大社交网站，但自己动手制作费时耗力。

“急民之所急”，表情包自动生成器出现了。

以往的此类生成器，只是简单的图片配文字，总觉得有点文不对题。

这一次，作者巧妙利用卷积神经网络，做到了识别图片中的情绪（仅限人脸哟），这样配上的文字可信度就比较契合语境了。

斗图走一波。

△非常高兴的大姚

△丞相在笑

△团长很愤怒

△静静的看着你

从高兴到平常心，机器在分别判定图中人物的情绪。

有点意思。

操作流程

把大象?装冰箱分三步，制作属于自己的表情包也只要三步。

第一步，打开meme生成器网站，熟悉一下英文界面；

第二步，上传一张清晰的人脸图像，注意一定是人脸哟，奇怪的东西不要上传。

第三步，点击generate meme，静静等待饱含深情的表情包。

好了就是这么简单，当然，这里仅供演示，更多玩法，自行探索。

应该能看到，这款meme不同以往的特点是文字可以匹配情绪。

人脸的情绪判别

作者使用了两类数据集进行训练，一部分是高兴，一部分是悲伤。

两类数据集的规模必须确保较为平均，否则二分类的结果会严重偏向一方，准确度会下降。

在此过程中，会出现两个问题：

过采样，在整个数据样本中，一部分数据集过多，训练结果会更加偏向多的那部分。
欠采样，把大数类的数据减少到与小数类的数据量相匹配，减少样本量。

当然，确保平衡最重要，如果进行欠采样，总样本会减少，有可能让模型降低泛化能力。

这时候，你需要数据增强技术来人工增加样本数据。

△一只猫，变成六只。

在获得足够数据后，作者使用卷积神经网络（CNN）进行训练，对人脸表情进行特征提取，随后进行足够的训练批次。

此时，人脸情绪可以识别，随后就是配文字了···

表情包配文字

以文配图，以图配文，最重要的是匹配。

在这款Meme生成器中，作者使用chef软件作为配置管理工具。

用户上传图片，机器工作流程如下：

判别是否是人脸，如果是，进入第二步；
判别情绪，是高兴还是悲伤，得到评估结果（metric）；
依照情绪判定，生成相应文字。

简单来说，用户上传一张图片，机器调用预先训练的模型去对图片进行二分类，得到一个有偏向概率值，得到图片情绪。

作者使用TensorFlow预训练一个文字对齐（text alignment）模型，判定情绪后，在既有存储文字的数据集中，进行相关图片的文字匹配度，最终组合文字和图片。

生成一张表情包就这么简单~

是不是真的有这么强大，网址在下面?。

试试便知~

参考链接：
https://medium.com/towards-artificial-intelligence/meme-generator-memegen-using-deep-learning-d133e6fc363f
http://34.74.55.103
https://github.com/developers-cosmos/Meme-Generator

— 完 —

下载1：OpenCV黑魔法

在「AI算法与图像处理」公众号后台回复：OpenCV黑魔法，即可下载小编精心编写整理的计算机视觉趣味实战教程


下载2 CVPR2020

在「AI算法与图像处理」公众号后台回复：CVPR2020，即可下载1467篇CVPR 2020论文
个人微信（如果没有备注不拉群！）
请注明：地区+学校/企业+研究方向+昵称

觉得有趣就点亮在看吧