有的放矢，远程操控中实时音视频的优化之道

• 接收模块中jitterbuffer涉及的乱序缓存、帧检测缓存和帧缓存外，还有拆包、差错解码、链路状态估计反馈等模块；其中链路状态估计反馈，主要是用来估计链路的丢包、时延和时延抖动等情况，用来指导jitterbuffer大小设计，并给发送端拥塞控制提供参考。

上面提到，优化的目的是降低jitterbuffer大小，而帧间时延波动是影响jitterbuffer大小的核心因素。除网络自身波动外，丢包重传是时延波动峰值的主要贡献者。因此发送和接收联合优化首先要考虑的是降低丢包重传。腾讯的5G远程实时操控产品腾讯云无界主要是在拥塞控制、差错编码上，针对5G远控场景做了更好的优化，降低了丢包重传的概率，减少了帧间时延波动。

下面先简单介绍下实时音视频中拥塞控制和差错编码的概念，在下一章将具体展开介绍针对5G的优化经验。

• 拥塞控制：目前常见的用于实时音视频的拥塞控制方法中，较好的有BBR、GCC等。

• BBR主要是基于网络的时延带宽积，分别探测网络的最大带宽和最小时延，并认为两者乘积是网络上能够承载是数据最大容量，其优点在于可以抵抗随机的网络时延和丢包波动噪声，缺点在于最小时延测量时会降低吞吐，对于突发的网络恶化，需要更长的时间才能降到实际带宽。而且BBR最初不是针对视频传输设计，在实时音视频中的应用经验比较有限。

• GCC是同时基于时延拥塞控制和丢包拥塞控制，并取两者最小值。在时延拥塞控制中，为平滑网络波动噪声对延迟梯度估计的影响，GCC中使用了卡尔曼滤波器来进行处理。GCC优点在于可以同时兼顾时延和丢包，并且有较好的实际应用经验。

• 差错编码：在网络传输中，丢包模型可以理解为是一个删除信道，数据包在传输中会被随机删除。因此可以使用适用删除信道的前向纠错编码（FEC），通过增加包传输时的冗余数量来恢复丢包。考虑纠错性能和计算复杂度，音视频传输主要使用线性分组码，常用的有异或编码、RS码等。由于FEC在设计时，主要是面向随机错误，在较短的编码长度（编码包数量）下， 这种方式可以抵抗一定程度的随机丢包。但对于拥塞或网络质量下降导致的突发丢包，较短编码长度仍无法抵抗，这时传统会通过增加包之间的时间间隔，并且增加编码长度，来抵抗突发丢包。

在5G远控场景中，网络时延中5G空口的时延和波动占比较大，而5G空口的网络模型与传统路由器有一定区别。传统路由以拥塞丢包为主，自身不带重传；5G空口差错丢包和拥塞丢包都有，自带一定重传；传统路由时延上升主要由拥塞导致，5G空口由于资源调度周期，也会出现一定程度时延波动，特别是针对上行数据传输。5G空口的带宽跟信噪比和空口负载有关，会随时间变化；传统路由的带宽相对固定，主要受网络负载影响。

路由器与5G空口网络特点对比

（一）拥塞控制的优化

可以看出5G空口网络与传统路由存在较大区别，面对资源调度周期引起的时延抖动和信号质量带来的带宽波动时，BBR拥塞控制适用性有限。考虑到5G空口中信号质量会导致网络带宽变化较大，因此可以在GCC时延、丢包拥塞控制的基础上，增加基于空口信干噪比和网络负载估计的拥塞控制，这样对于5G空口网络变化具有更快地反应速度。同时可以修改GCC中时延梯度估计用到的卡尔曼滤波算法，更好平滑资源调度周期带来的时延梯度抖动。

（二）差错编码的优化

基于5G空口网络特点，可以看出5G空口由于自身带重传，丢包发生概率较少，可以使用较短的编码长度抵抗随机发生的丢包。5G空口中突发丢包的产生往往是由于5G空口信号质量下突然下降导致，这种深衰落的周期通常跟移动性有一定关系，移动速度越快，周期越短，低速移动时在10ms左右。传统的通过简单引入更长包间隔和增加编码长度的方式无法有效应对，而且会增加发送数据量，导致丢包恶化。配合基于空口信干噪比的拥塞控制估计，可以即时预知这种突发丢包，通过降低码率，延长发送时间，而不增加编码长度，减少突发丢包概率。同时可以引入分组交织的方式，将编码进行交织，一定程度抵抗突发的丢包。

总体上，5G远控场景对音视频的时延要求是非常高的，虽然通过结合5G网络特点，在发送和接收进行了一些联合优化，可以满足一些中低速行业场景的远控需求，但是离行业理想的100ms指标还是会有一些挑战，特别是在跨区域的远控场景。未来还需要更多地引入结合网络的一些联合优化的手段，另外也可以考虑在相机采集、编码上进行更多的挖掘，以尽量提升端到端效果。