视频通信过程中会涉及到大量的音视频处理技术,按照在通信系统中所处位置的不同,可以分为发送端和接收端的音视频处理技术。
发送端的音视频处理技术主要包括:视频帧的变换、自适应丢帧、增强;音频采样率转换、回声消除;音视频修饰等。这些技术的目的都是为视频直播提供高质量或者定制化的信号源。
对于发送端视频的处理
一、视频帧的变换
采集到的视频源首先需要进行裁剪,缩放,自适应丢帧,颜色空间转换等变换,这些作为视频处理的预处理,可以为后续操作带来速度和性能的提升。
裁剪:将帧数据裁剪或填充到4字节的整数倍,便于后续可以进行位移操作或者汇编优化;
缩放:现在手机或电脑的摄像头提供的输入视频分辨率在2K左右,如果不加缩放的提供给后续的