2小时超1.4亿人观看!AI解锁31年前Beyond演唱会,炸出一代人青春
视学算法报道
视学算法报道
编辑:桃子 Joey 好困
【新智元导读】Beyond 1991生命接触演唱会超清修复版来了!回忆开启,你准备好了吗?
7月3日,黄家驹超清回归,炸出了一代人的青春。
在Beyond书写音乐的历史上,有两场音乐会最为值得纪念。
一场便是1991年,连续举办5天的「Beyond Live1991生命接触」演唱会。
29岁的黄家驹率领Beyond成员登上红馆,成为一个时代的印记。
恰逢黄家驹诞辰60周年,这场生命演唱会又再次重映了!而且还是AI超清修复后的画面和音质。
网友看后纷纷表示,再次看到了黄家驹眼里的光。
话不多说,静心感受...
91红馆经典再现
先来首《海阔天空》
时至今日,这首歌召唤着多少人的回忆?
原谅我这一生不羁放纵爱自由 也会怕有一天会跌倒 被弃了理想谁人都可以 那会怕有一天只你共我
看过修复后的视频是不是顿时觉得明朗了。
眉间皱纹清晰可见
《光辉岁月》这首经典歌曲也萦绕在我们耳边。
一生要走多远的路程 经过多少年 才能走到终点 梦想需要多久的时间 多少血和泪 才能慢慢实现
看到如此高清画面,背后究竟是用了什么技术?
画质修复
定格之后发现,果然,就是当年的那个味!
说到这些「横纹」,他们出现的主要原因就是,早期视频大多采用「隔行扫描」的方式来处理、编码和显示。
人们通常将画面分为2个场,先扫描奇数行像素,再扫描偶数行像素。
凭借「视觉暂留效应」,在快速播放时,两个场互相补足,让人眼看到完整的画面。
而目前主流的视频,用的是「逐行扫描」。这需要较大的带宽来传输,在早期难以实现。
简单来讲,如果把播放视频的一帧当做用围棋填满棋盘。
隔行扫描就是按照奇数、偶数行分别一行一行放棋子。逐行扫描那便是一行一行地铺棋子了。
当前的问题是,如果把原先的是视频拿来在新式设备上播放,就会产生闪烁和条纹。
因此,为了解决这一问题,就得使用多帧输入的神经网络去交错算法。
也就是,将隔行扫描讯号转换为逐行扫描讯号。
如下修复的画面中,就可以完全清晰看到手指戴的那枚戒指,还有根根分明的琴弦。
与传统的固定去交错算法相比,该算法不仅在视频细节恢复得更好,而且运动场景的拉丝情况也能得到更好的解决。
除了清晰度,旧视频中还存在颜色褪色、异常、过亮过暗等问题。
这里,针对具体片源效果,依据美学评分,在色彩,亮度,对比度,饱和度,人像ROI和背景区域分别增强。
并且根据不同帧的色彩统计信息进行自适应亮度增强,使亮区与暗区都能得到最好的表现效果。
另外,还有人像的修复也至关重要。
在91年演唱会中,很多片段中人脸存在较大的彩色噪声,压缩损伤,模糊等问题。
这里就用到了自适应人像增强算法。
基于深度学习模型,对演唱会因噪声和压缩导致过于模糊的低质量人脸,进行高清五官重建。
此外,对眼睛,嘴巴,耳朵,皮肤甚至发丝都进行了细节重建和纹理添加,使得人脸清晰度更高更真实。
值得一提的是,演唱会场景中多角度的人脸,比如正脸、侧脸、俯视、仰视,还有一些被乐器/话筒遮挡的人脸,该算法都表现出较好的修复效果。
音质修复
还记得小时候,用卡带和CD机听着Beyond的光辉岁月,黄家驹的声音一响起便能勾起无数人的回忆。
时间已过去31年,当年收音机里略带磁音、偶尔卡顿的音乐放在现代确实有点差强人意。
不慌!这次除了对演唱会当年画面的修复,同时也对音频品质进行了优化。
由于早期的音频制作技术受限,加之年代久远,演唱会的录制音频存在「噪声干扰、带宽不足、混响、响度」等问题,很难为听众带来演唱会现场的音质体验。
通过AI修复算法,我们或许能解决这些问题。
这次演唱会的音质修复算法可分为三大模块,分别是降噪算法、音频超分算法和响度算法。
当时演唱会的收音设备离现代还差的很远,录音的时候就会携带很明显的杂音感。
再加上演唱会环境嘈杂,片子里就出现了许多噪声。
传统的降噪方案主要针对音频中的人声,而背景音乐在经过降噪算法处理后,会被不小心「误伤」。
幸运的是,通过利用降噪算法技术,既可以实现人声与背景音乐的兼容,同时还能抑制噪声。
这里我们以一部分「Beyond Live 1991 生命接触演唱会」为例,以下为降噪前后对比的音频频谱图:
可以看到,修复后的波段明显清晰了不少,无声段的红色噪音部分被剔除,此外音乐段的噪点明显减少,尤其是在10KHz-15KHz的高频段部分。
去除噪音之后,接下来就是对音频进行超分。
由于早期演唱会的收音设备、录制硬件或存储压缩条件有限,导致高频区域的声音信息丢失,从而影响音质。
而本次的技术团队将人声部分进行频带扩展,恢复了部分高频信息,提升了音质。这就是「超分」。
经过超分处理后,原始音频的高频部分得到了部分扩展和增强,听起来声音更加清晰明亮。
聊完降噪、超分,还有响度模块。
由于演唱会的收音情况不同,可能导致演唱会人声的部分相对乐器声和环境音过小。
响度算法模块的任务就是单独提取出唱歌的部分进行调整,然后再和其他声音混合,使整体听感更加舒适。
来看看修复后的频谱图,可以看到处理后蓝框中的人声部分频谱图更加高亮了。
时过境迁,虽然Beyond的时代已经过去,但透过修复后的视频,我们也能感受到黄家驹声音里澎湃的激情,重拾当年的感动。
花絮
画质修复技术团队都是90年后出生的。
像Beyond的《海阔天空》、《光辉岁月》、《真的爱你》这些歌,他们是从小听到大。
看过这段演唱会的修复视频,是不是又激起你童年的回忆?
参考资料:
点个在看 paper不断!