开年旗舰的Al新玩法：我很平凡，凡尔赛的凡
共 4187字，需浏览 9分钟
·
2021-01-26 12:22
作者 | 量衡
高通一改往年习惯，在2020年12月2日发布了骁龙888。作为2021年旗舰标配的移动平台，骁龙888最新的X1构架带来了25%的CPU性能提升，Adreno 660也给出高通GPU史上最大的35%性能提升。
不过近几年来，高通旗舰平台提升幅度最大的，一直都是它的AI性能。高通产品管理副总裁Ziad Asghar曾经表示，AI性能大幅提升的主要来自客户的需求，他们期待看到AI在新领域实现应用，比如视频、游戏、安全等。
但终端用户依旧不太了解AI的实际用途和影响，AI硬件的发展与大众观念的普及之间有明显的脱节。这次我们以首批搭载骁龙888的小米11和iQOO 7为例，看看移动AI能干什么，以及2021年旗舰的AI新玩法。
1
最强、出货量最大的
移动AI计算平台
移动AI的核心，是各种用到神经网络/深度学习等AI算法。它们在图像、音频等领域有远超传统算法的效果，但需要专门的AI硬件加速器才能高效地工作。
而高通是首个将终端侧AI SDK商用化的公司，如今全球有超过5亿台安卓终端，在使用高通神经网络处理SDK提供AI功能。而高通的AI性能，从骁龙835时代就开始倍数增长，骁龙845是3TOPS，骁龙855是7TOPS，骁龙865是15TOPS。AI算力达到这个量级，本以为增长会明显放缓，结果骁龙888又把算力记录提升到26TOPS。
骁龙888上的是高通第六代AIE，其最核心的Hexagon 780 DSP，把以前Hexagon 600系列中的标量，张量（Hexagon Tensor Accelerator）和向量（Hexagon Vector eXtensions）模块，融合成整体式IP，共享内存增加整整16倍。在每瓦性能提升3倍的基础上，Hexagon 780 DSP标量执行能力提高50％，张量执行吞吐量翻倍，核心切换时间比以前快1000倍。
骁龙888在机器学习基准测试MLPerf中，最高提升4倍，暴涨后的内存池可以让神经网络在Hexagon 780内部运行，无需占用额外内存，也能运行更大的机器学习推理模型。
类似ARM平台“大小核搭配”的传统艺能，高通为了平衡性能和功耗，在骁龙888的第二代传感器中枢里，增加了专用的低功耗AI处理器。在功耗不到1mA的情况下，让AI性能提升5倍。
传感器中枢集成的AI处理器，负责低功耗、无需唤起的全天候语音响应、环境感知等场景的AI待命，宣称能分担Hexagon 780 80%的工作负载。需要AI的人眼识别亮屏、语音助手应答、汽笛声/婴儿哭声等语音事件检测功能的功耗也更低。
另外，它可以从不同的核心收集和解密5G、WiFi、蓝牙、位置流的连接数据，并创建全天候和带上下文感知的用例，例如手机识别周围声音自动调整铃声音量、在没信号停车场实时构建地图并追踪停车位置等情境感知功能。
2
不同厂商对AI的理解与应用
在骁龙888这一代，高通推出更加开放的AI Engine Direct，开发者现在可以用统一的API直接访问Hexagon 780、Kryo CPU和Adreno GPU等的硬件，并有更多的框架的支持。软硬件的提升，可以更好地支撑不同厂商，让厂商能根据各自对AI理解，做出不同的AI应用。
在首批搭载骁龙888的小米11和iQOO 7上，因为有更加强大的AI性能支撑，一大批下渗到日常场景，很接地气的AI应用，就是教科书式的“我很平凡，凡尔赛的凡”。
在小米手机上，运动健康领域MACE Micro AI引擎，使用深度学习算法提高数据准确精度并降低能耗，一整天的耗电量小于1%（24小时耗电量 9.6mAh）。
而DNN-HMM框架深度学习算法，被小米用在相机AI声控上，在拍照场景的音频流中，进行多指令词实时检测。而小爱同学语音助手的ASR语音识别、NLP自然语言处理、TTS语音合成，以及一系列的端侧AI功能，因为有骁龙888的支持，在小米11上的响应速度更快，但功耗却更低。
GVoice & VOIP杂音比例对比
而iQOO的AI应用，自然是和游戏相关的。在iQOO联合腾讯开发的游戏Gvoice语音功能中，使用骁龙888的AI引擎和传感器中枢作为新的硬件载体，GVoice算法负责AI的回声消除和噪音抑制（ECNS），厂商与游戏端定制通信协议，适配客制化音频通路。
在提供更好的声音还原度和噪声抑制效果时，运行在Hexagon DSP的GVoice语音，可以让整机耗电下降20mA/s，其所占的CPU资源在原有基础上减少约30%。
另外，高通与NLP自然语言处理方案的头部厂商Hugging Face合作，为第六代高通AI引擎提供强大的NLP库。打字时的本地自动补全建议、AI语音助手对用户提问的理解、终端侧的实时AI翻译等功能，都将直接受益。
把单摄玩出花的Google，之前就用预训练的神经网络做到背景虚化、全景、Motion动图（类似iOS平台的Live Photo）、AR实时追踪贴图、超分辨率放大、超级夜景等多种功能。Snapchat通过AIMET量化其AI镜头模型，提高实时滤镜流畅度并增加滤镜多样化。
而增加对循环神经网络（RNN）和长短时记忆神经网络（LSTM）支持的AI模型增效工具包，被开发者做成了“手机拍照就能扫描皮肤健康”的应用。德国的trinamiX公司则是用红外光谱分析材料反光，以此做皮肤检测，甚至是垃圾分类。
3
AI拍照的新玩法
影像是AI最重要的用途之一，而最能看出不同厂商对AI的不同看法的，也是影像部分。小米11的夜景模式新增的夜景拍摄视频，利用AI大幅提升夜景视频的画面亮度和降噪表现。夜景视频可理解为每秒拍摄超过24张超级夜景照片，是ISP和AI算力暴力提升的直接效果。
小米11在相册自带了证件照功能，自拍之后，交给AI一键抠图，选定规格和背景就能搞定，不需要跑照相馆，也不需要动用电脑。类似的还有AI智能去线、智能去人等功能。
之前的AI魔法换天功能，在小米11直接被玩出花来了。其提供了晴空、雨云、彩虹、夕阳、晚霞、星空、月亮、闪电、银河等几十种可选内容，现在天空上的云朵能像现实一样随机变化。小米甚至还搞出“焰火版魔法换天”，烟火能实时“炸出”自定义的骚气祝福语。
而对AI算力要求最高的，是多人物共存的魔法分身视频功能。其用法虽然很简单，而且无需三脚架，但背后结合了AI视频目标检测、实时SLAM场景建模、AI 视频实时人像分割三大算法，而且还要对视频实时逐帧对齐拼接。
相比小米11的趣味性，iQOO 7对AI拍摄的着眼点，要加实用化一些。iQOO 7使用自研RAW域AI空域降噪模型，对单帧RAW图进行空域降噪，用AI学习识别画面高中低频区域，再0.01lux分段处理的噪声模型标定，分别使用不同程度的降噪，有效提升画面纯净度，并保留画面中不同的明暗细节。
而iQOO的黑光夜视2.0是更加极限的AI算法，其做到了3倍ISO、远超人眼极限的“夜视仪”效果。针对拍照时的翻车操作，iQOO 7的相册有纯净度改善和处理人像模糊问题的后期修复能力。
老照片修复上色
褪色照/黑白照AI上色，是以前就有云端方案，但因为隐私、收费和处理时长问题，一直铺不开。在骁龙888的AI算力支持下，iQOO 7也引入情怀向的AI旧照修复、黑白照上色功能，同样是在相册里的一键操作。
AI 希区柯克变焦
视频方面，iQOO7做出了一键Vlog模板。里面最骚气的希区柯克变焦模板，使用AI进行目标检测、背景拉伸，缩放，完成以前需要多摄像头/变焦协同和人力移动的效果。
AI滤镜风格迁移
常规的图片滤镜只能在给出的滤镜风格里选择，但AI已经能做到滤镜风格迁移，用AI识别和抽象化提取指定照片（甚至电影截图）的风格，自动生成全新的模板。
虹软“傻瓜相机”
骁龙888上，高通首次将AI引入自动对焦、自动曝光和自动白平衡的3A算法。基于显著性特征分析的自动对焦和自动曝光的神经网络，提供前所未有的准确度之余，还有实物运动跟踪能力。
虹软 “傻瓜相机”功能，在全自动的3A之外，还能自动跟踪目标和自动缩放，连取景和构图都“傻瓜化”了。
视频实时分隔与融合
4K 30FPS的实时背景抠图
在高通AI Engine的支持下，CV-ISP硬件计算视觉加速器也能提供60fps实时景深识别的人像、背景分割、替换、人体追踪、物体识别/追踪的效果。
高通AI引擎运行和加速的Tetras.AI超级电影应用里，骁龙888可以做到4K 30FPS的视频实时背景抠图、分割和融合，然后还能用不同的形象代替视频中的角色，与里面的其他人物/角色进行互动，而且取景框上就能实时预览最终效果。
4
总结
数年间，高通的AI引擎已经发展到第六代，异构化和第二代传感器中枢，已经能让人眼识别亮屏、语音助手应答、语音事件检测、情景上下文感知等AI功能可以低功耗地全天候工作。
而小米11和iQOO 7，在相机上的超级夜景视频、抠图、魔法换天、旧照恢复、希区柯克变焦模板、自由滤镜等更加重度的AI新玩法，也在刷新我们对AI拍照的理解。一边是下沉渗入到日常使用的传统功能AI化，一边是新发掘的非线性、散点出现的AI新玩法。
但 “真正的科技就是让你感觉不到它的存在”，大众对移动AI实际用途的感知割裂，或许正是AI已经深入生活的注脚。当被新旗舰玩出花的AI功能，从点连成线、连成面之后，就是真的“我很平凡，凡尔赛的凡”了。
往期推荐