视频太多找不到？这家公司让海量视频为人所用

硅谷Live / 实地探访 / 热点探秘 / 深度探讨

一个人，一天到晚忙忙碌碌，走过无数的路，见过无数的人，但是留下印象、留下回忆的寥寥。

如今，每人手中的手机、无处不在的摄像头在帮助我们记录着每时每刻发生的事情，但是，海量的视频信息，如若不能及时发掘出其中的有用信息，也只能留在角落里被刷新、被覆盖。如何能把有用的信息及时挖掘出来，如何让海量的信息及时为人所用？这是硅谷洞察近期采访的一家加拿大初创公司 Aupera 想要解决视频时代的一大难题。

让海量视频真正为人所用

海量的视频里包含海量的信息，要让视频真正为人所用，真正能信手拈来，真正与人互动，就要做到视频内容的搜索，即时定位索引视频里某个片段，某个场景，某个动作。“这是Aupera团队创立的初衷”，Aupera 创始人廖博士表示。

想一想，如果各位读者已经是爹妈的话，手机中难免一大堆拍娃的视频吧，如果你某一天正好想找出孩子吹生日蜡烛的那一瞬间，又或者是带娃去海滩玩沙时把沙抛在空中的那一瞬间，你能不能迅速从手机已有的几十个上百个视频中搜出来呢？又或者在女儿的成人礼上，想迅速做一个精美的成长记录，用一段视频记录其成长的精彩瞬间，欢笑与泪水呢？

（图自网络）

“要做到视频内容搜索，首先要解决的是海量视频的编解码算力，需要提供高密度的计算力，可负担得起的计算力，我们 Aupera 就是从这方面入手的”， 廖博士说到。

如今，Aupera 的技术已经落地，并且已经在头部客户做到了商用。同时，Aupera 嵌入了实时 AI 的加速引擎，同样的硬件、同样的软件框架。这样的架构，特别高效，“特别适用于那些有海量视频的有需要实时对内容进行处理的场景。”据廖博士介绍。

Aupera 的工程师团队成员，曾服务于 NASA、华为、思科、贝尔实验室等，专注于视频时代的痛点，创新地提出了分布式微节点的异构计算架构，开发了融合视频与AI的软件框架。早期，他们曾获得 Arm 加速器的投资，最近，他们又获得了 FPGA 巨头赛灵思的战略投资。

解决视频领域算力问题的两大创新

大家都知道，英特尔的 X86 计算架构带领信息社会从 PC 机走到了移动互联网时代。当今的数据中心，这种架构仍然维持着统治地位。

但是，随着摩尔定律的终结，通用计算将逐步走向衰落并将被专属计算架构（Domain Specific Architecture）——这种为特殊场景而做专用设计的计算架构取代。“粗放的发展模式，简单地提高主频、增加晶体管密度已经走到了尽头，今后的计算架构，将会是灵巧性的专属计算架构，所以我们选择了Arm+FPGA 的框架。”廖博士表示。

针对视频应用场景，分布式、微任务、易扩展性这些视频流处理的特点，Aupera 在计算架构方面做了一大创新——分布式微节点架构，这是基于 ARM 的灵巧及 FPGA 的高吞吐、低延时、AI友好等优势，该架构达到了非常高的性价比及易扩展性。

（图片由Aupera提供，版权属于Aupera）

FPGA 跟传统的 X86 相比，有什么优势呢？

廖博士表示，FPGA 的优势在于实现高吞吐量高性能的同时，也能满足低延时的应用、实时的响应。

同时，FPGA 不仅能够自定义 AI 加速，还可以进行多维度、立体式的整体优化，对视频数据的前处理、后处理，甚至包括网络，存储。FPGA 作为 AI 加速的另一大亮点，在于快速算法迭代，快速模型设计，到加快产品商用、加快市场投放，这在人工智能算法日益更新快速迭代的情形下，显得尤为重要。

相信这也是 FPGA 巨头赛灵思选择战略投资 Aupera 的一大理由：能更快促进产品商用、市场投放。

硬件架构是载体，Aupera 的软件解决方案 AupxStream Video+AI SDK 则真正体现了能够承载高密度算力、面向视频+人工智能应用的超融合能力，将芯片的视频加速、软件底层、AI算法、操作系统以及场景应用有机融为一体，极大地提高场景应用的开发及实现效率。

（图片由Aupera提供，版权属于Aupera）

这套软件体系有什么特点呢？

廖博士告诉硅谷洞察，首先，整个软件面向视频的处理，集成了 FFMpeg 和 GStreamer，这两个工具是视频领域开发者的必备工具。特别是将 FFMPEG 成功移植到 Arm 处理器上，使得视频工程师无需改变任何操作习惯，同样的命令行，同样的操作，更高的性能获得更好效果。（广大码农们是不是应该喝彩下！）

其次，针对场景化 AI 的计算以及与视频编解码、视频数据处理的超级融合能力。将视频编解码、视频内容分析有机地结合起来，最大限度地降低与外部设备的读写操作，从而得到整体性能的大幅提升。

以及，云—边—端的线性拓展以及平台资源的智能管理，为硬件层、产品运营、以及云服务，打造了一整套平台资源管理体系，从机箱的状态管理、温度预警、风扇控制、到系统的任务调配、负载均衡，以及物联网的云管理、云端运维。实现了云—边—端服务的线性配置，算力可以随着边缘节点资源得以延伸，实现计算的去中心化和无边界化。

（图片由Aupera提供，版权属于Aupera）

那从目前来看，AupxStream Video+AI SDK 这套软件解决方案支持什么功能呢？

廖博士举例，像对 H.264、H.265 硬件视频编解码，Jpeg 硬件编码；通用音视频媒体框架，包括视频合成、混流，格式转换；高效的视频图像加速引擎，包括图像前处理、缩放、旋转、图层叠加、动态水印；完善的深度学习开发环境，支持Caffe、Tensorflow 及 PyTorch 等主流开发环境；通用深度学习推理引擎，支持 Resnet、inception、MobileNet、YOLO、SSD 等各种主流深度神经网络；支持上百种预训练模型及应用模板，快速搭建窄带高清、多方会议电话、安防、物流、新零售等AI+视频应用。

快速应用，快速为场景化服务，是这套软件体系的最大亮点。让千千万万的开发应用者，享受 FPGA 芯片的高效、实时应用，而不用为底层的复杂操心。

对于消费者而言，又能实现怎样的功能呢？廖博士表示，对消费者用户而言，没有繁琐的安装，许多视频 AI 的应用通过云端下载即可实现，将普通摄像头即时变成智能摄像头，同时，Aupera 云端的算法将实时更新，不断丰富，每一个家庭每一个用户都可以实现根据自身的使用场景来选择最佳应用。

攻克视频难题外，应用于物联网安防等领域

今天，新媒体的红利正快速被视频领域的流量所取代，快手、抖音、Vlog 已经愈发占据用户的手机桌面。中国短视频用户规模达 6.48 亿，其中“中老年”用户数量增长明显。

用户数增长迅速背后是一整个产业收入的明显增长。随着短视频平台成为巨大流量入口，据艾瑞咨询报告透露，仅 2017 年中国网络视频行业收入就创纪录地达到了 952.3 亿元，相较于 2013 年的 100 多亿元，5年来的增速都保持在 50% 左右。

物联网的时代已经来临，大家都说，摄像头是物联网的眼睛，一张图片胜过千言万语，一段视频又是成百上千张图片组成。Aupera 的解决方案，包括了云、边缘、端，提供了一整套的解决方案。

“视觉给人类带来的信息占到人获取信息量的80%以上，视频将是人类沟通的主流”，这个观点，是廖博士早在从事移动通讯开发时就坚信的，“针对视频，针对视频内容的理解，开发一款极致高效的产品，让视频真正为人所用，这是 Aupera 的一群顶级工程师的初心。”

你觉得视频时代使用最大的障碍在哪？你对视频时代还有什么期待？欢迎留言讨论！