AI识别技术, 在怎样改变全球流媒体们?

这是Han的第72篇原创文章

话说，最近这高质量网综也太多了吧，都看不过来！

 

我这时间，全耗在各种职场、侦探、语言、演技类节目里了。

 

那今天，咱就来说说，这些流媒体平台吧。

 

我一直觉得啊，咱互联网企业的“落地”能力，那是杠杠的。

 

同样类型的App，对比国外App，国内大厂总有各种新奇的功能，真引领世界。

 

周末，我看《奇葩说》的时候，就发现爱奇艺在推广一个新玩意儿—— “扫一扫”。

视频旁边，会有个扫面按钮。开始我还不知道，这是干嘛的。

 

点击了之后才发现，原来是对内容扫描啊，进行人脸识别。然后，会告诉你视频里的人都是谁，还有相关百科。

哇，完美解决观众常见需求—— “这人谁啊？”。

 

仔细想想，技术上，还真挺难的。

 

要知道，这可不是机场里面那种 1:1 人脸识别，你可以正对着摄像头，让系统认出来。

 

你看，诞总和虫仔，视频里根本没看镜头，机器只能根据一部分侧脸做出判断。

 

在我看看来，类似“扫一扫”的创新功能，改变的可不仅仅是优化用户体验。

 

通过这小小的功能，我看到的是全球流媒体平台们暗潮涌动的技术整体实力的竞争，以及在“识别”这个动作下，人、场、物，正在技术赋予的想象力中串联在一起。

来，我们先“认识”一下

“扫一扫”是众多AI在视频里应用的一个小例子，实际上，AI已经充斥在视频各个环节。 要让AI得到更充分的应用，第一步，当然就是要认识视频里的内容。 这个能力没有，后面都没法玩儿。 来，咱直接先看一个AI最复杂的应用场景—— 艺术创作。 今年7月，Netflix财报披露：公司正在研究利用AI生成预告片。

 很快，Netflix就可以快速、大量地，对海量内容自动生成预告，质量还非常高哦。 在降低剪辑师人工成本的同时，这千人千面的预告片，又会增加影片点击率和观看时长。 其实，在2016年时，21世纪福克斯和IBM就推出了Watson系统给自家的惊悚片Morgan自动生成预告片了，只不过不能像Netflix这大批量搞。 

这背后的原理其实都类似，一共分两步。 第一步，就是识别并理解内容。 把剪辑好的全片直接倒入，系统首先就会开始对内容进行识别。 比如，进行复杂环境下的人脸识别，认出演员是谁，还能知道谁是主角，谁是群演。 除了人，还会对景色、物体识别，贴上各种标签，比如“公园里”，“家里近景”等等。 另外，还会对台词和配乐分析，识别各个片段的情感，是惊悚还是温情，一目了然。 这一过程想要做到详细，是很耗费时间的，因为要跟其他来源的数据对比。比如IBM的Watson，就需要24小时来完成。

 

第二步，就是根据既定工业化套路生成预告。 比如，同样是30秒的预告，可以有各种风格，和各种模版音乐，按照相关标准生产即可，再根据用户喜好投放。 假设，让你用AI剪辑沈腾的喜剧电影合集，那可以想象出来，这最起码可以有“感人风格”和“爆笑风格”两种模版。

 
上面这两步里，第一步的“识别”是基础，第二步的“生成”则是应用。 当然，第一步最为重要也是必须，而且同一部影片，系统理解一次之后，结果可以重复利用，赋能更多应用。 第一步的“识别”还真是“基础武功”。正因如此重要，各大流媒体巨头都在重点投入研发。 国内方面，老大哥爱奇艺在研究识别这件事上下了大功夫。比如爱奇艺计算机视觉的研究成果多次被包含ICCV在内的学术会议收录，多次在挑战赛获奖。 爱奇艺还曾直接联合了国内外顶级视觉和多媒体会议，如PRCV2018和ACMMM，首次发起“多模态视频人物识别挑战赛”，还公布了全球最大的明星视频数据集（iQIYI-VID），联手产学研，取得突破。

你问啥是多模态识别？

简单说，就是基于人脸、声纹、姿态、场景等综合识别，这样一来，即使在暗光下、化浓妆、侧脸等等，都能准确识别，它对提升人物识别的精准度非常重要，属于AI领域中前沿的技术。 开头提到“扫一扫”能识别半张脸的虫仔，核心能力就来自于这儿。所以这些应用看着好像没什么，但没点硬核技术还真不行。

 比如爱奇艺办的这两场大赛，就让它的人物识别精确度大幅提升。不然你以为一家娱乐公司为什么要天天搞技术研发。 当AI系统“识别”了视频内容，那就算是“正式认识”了。在之后，更多的应用可能性，就可以展开了。

“认识”之后，事儿了就好办了

如何利用AI已经“识别”好的视频数据呢？ 这时，就要想下流媒体平台的位置了：链接「创作者」和「观众」。 对于「观众」们，就是要想办法提高用户观影体验，而对「创作者」，就可以帮助他们更快更方便的做出好内容。 先看「观众」端。 有了识别的信息以后，最简单的应用就是…直接把结果显示给用户呗。比如，文章开头提到的“扫一扫”。 TV端也有类似的，比如奇异果AI雷达—— 显示明星信息，进入泡泡社区等。 其他相关的应用还有——「只看TA」，腾讯视频和爱奇艺也都支持。

 点了之后，用户就可以只看自己爱豆的cut了，比如看一万遍“坤坤唱跳篮球Rap”合集。这背后，就是利用了各种识别技术，人脸、表情、场景等等。 诶？于此推演，我有一个脑洞。 那就是，“只-不看TA”。想一下，是不是对于某些剧啊，综艺啊，你老觉得有些地方比较多余？比如，《亲爱的》里面的回忆画面，还有《破冰》里面的陈珂。是不是感觉，你需要这个功能。 其他的，还有对特定人群的使用优化，比如腾讯视频的儿童模式保护，爱奇艺的AI手语主播片段生成，B站等弹幕网站的智能防挡脸功能等等。

 好，那再来看看对「创作者」的应用。 上面提到的预告片自动剪辑，就是一个高级的例子。 国内方面，AI也已经被主要用到两个方面：智能选角色，还有，智能剪辑。 AI选角，可以根据剧情需要和演员信息智能匹配，大大提升选人效率和成功率。爱奇艺的“艺汇”和优酷的“鱼脑”系统，都已经正式商用。 选角的结果，就有《泡沫之夏》的张雪迎、《最好的我们》的刘昊然，还有《长安十二时辰》的雷佳音等等。 
剪辑方面，目前已经商用的，更多的，是一个“助手”角色。比如，拍真人秀的时候，需要FollowPD时刻记录，还要后期各种人工打标签，剪辑的时候超级费劲。 有了AI的加持，系统可以快速扫描内容，然后按照明星角色分类，还可以识别各类场景，甚至人物的语言和情绪，给各个片段都打上有用的标签。 比如，在《中国新说唱》后期制作的时候，AI就帮助剪辑师通过特定标签，精准找到需要片段内容，数秒内就可以调出特定人物素材，大大缩短制作时间。 类似的系统和功能，国内各大产都有投入，爱奇艺的智能剪辑，腾讯智能云剪辑，优酷的鲸观剪辑等等。 当然，AI的能力不仅在于提升体验，最重要的，还是帮平台赚钱。

“识别”与流媒体平台的“赚钱引擎”

AI怎么帮流媒体平台赚钱？这里有两个重点应用：视频推荐，以及，广告投放。 当然，这背后都有统一的关键词“匹配”——内容和人，广告和人。 当用户能更快的看到自己想看的内容，会员就会不退订。当用户能发现自己喜欢的商品，广告主就不会停止花钱，这样整个机器就会运转。 根据Netflix，其平台80%的观看量都来自于推荐引擎。他们希望用户能在1分钟之内开始观看节目，否则用户很有可能会有关掉整个App。

除了常见的，在网站和App上，根据推荐位的权重不同，以及用户的喜好程度推荐视频之外，Netflix还可以利用智能识别到的视频图像信息，生成个性化的视频封面。 比如，一部剧里有很多演员，Netflix会先“识别”出不同的角色和演员，之后专门用你喜欢的演员当封面，类似的还可以应用在不同场景和色调上。 比如下面这个《奇怪物语》，就可以生成无数种不同的封面，角色、场景都不同。

 
另外，还可以根据你看视频的时间和历史内容，体会你的心情变化，推荐不同的视频。比如，一部电影可以有「浪漫」和「惊险」两种风格的封面。你大半夜的，刚看完一部恐怖片，那就会给你用浪漫风格推荐，平复一下心情。

国内方面，推荐能力各家均有部署。 爱奇艺推出了个性化海报，可以根据用户的喜好，“识别”用户喜欢的海报并推送。去年3月，奇异果TV的首页个性化长视频推荐功能落地，为用户提供千人千面的推荐服务。 除了卖会员，广告也是流媒体平台的重要盈利方式。

 
在之前，视频的贴片广告，就只是随便地插入到视频里，再正常播放就完事了。广告和视频本身几乎分离，用户体验很差，广告转化率也很低。 后来，YouTube和爱奇艺等头部企业，探索了智能广告插入点，也就是，在适合的情况下插入广告，以减少用户体验的损失。 最近两年，大家又开始探索，怎样能让广告也和视频内容完美切合。 比如，爱奇艺的创可贴广告，会根据AI对视频内容“识别”的结果，比如不同的场景、角色、演员、情绪、动作、台词等，选取广告点位。

 
之后，在影片播放过程中，以浮层展示不同品牌形象的广告。
基于不同剧情而推送的广告，其内容与视频情节有了关联，用户体验和商品转化率都大幅提升。
去年爆款大剧《延禧攻略》上，这类情景广告就有广泛应用，大受广告主喜爱。 看到爱奇艺最新的“扫一扫”功能，我觉得，全新“电视购物”的时代要来了。 自动识别内容+ 电商链接，绝对是一个新亮点。随便看一个什么综艺啊，现代剧啊，就约等于电视购物。 看到节目里面的明星们，在穿啥用啥吃啥，你突然种草了的话，那就直接“扫一扫”视频画面呗，然后你会知道这些商品是什么，然后去直接购买。 这一定是一个新的电商流量入口，再也不用自己去搜什么“xx同款”了。基于准确的识别，实现了人、货、场的连接。 国际方面，YouTube在2017年就尝试广告内容个性化方案，推出Director Mix工具，方便让广告主根据不用用户定制化广告。 比如，同样一款汤类产品的广告：

• 如果你在看《星际穿越》，那么贴片的广告语就会是“感到世界之外的饥饿了吗？”

• 而如果你在看《女子监狱》，广告语就变成了“牢里的饭不好吃？

  我们的汤好吃。”

• 要是你在看碧昂斯的《SingleLady》，那就说“一个人吃晚饭？”

根据YouTube，这种和视频内容极度切合的广告方案，让这款新的汤品的品牌认知度提升55%。

“识别”技术和未来

AI在流媒体中的应用，重点就是视频识别技术的各种落地。 从Netflix和爱奇艺等中美流媒体巨头的动作，我们可以看出这些年的布局特点。 首先，重点铺研发。从Netflix早年举办轰动业界的百万美金推荐引擎大赛，到爱奇艺最近的识别大赛，都是企业在贴近学界，布局基础能力。 之后，要利用识别到的数据，展开落地应用探索。流媒体们，作为中间平台，向下游，要尝试提升用户体验的功能，向上游，则要方便节目选角和影片制作。 重点，是要通过强大的AI能力来赚钱，更好的推荐引擎，更优化的广告技术甚至尝试融合电商，都是流媒体们商业化探索的成果。

 2019年，随着苹果TV+和迪士尼+正式商用，流媒体的竞争更激烈了。 流媒体的竞赛，除了内容自制和版权领域外，最大的战场就在AI，就在视频识别能力的突破，以及像样儿的落地应用。 5G时代下，没有卡顿的体验和越来越强的AI，将会把用户的最后一滴时间“榨干”，你准备好了吗？

我的新书已出版，感谢支持：Han的新书《硅谷思维》上市了！