GAN的复原：应用于大诗人泰戈尔
共 2045字，需浏览 5分钟
·
2021-10-01 18:13
点击上方“机器学习与生成对抗网络”，关注星标
获取有趣、好玩的前沿干货！
点击上方“机器学习与生成对抗网络”，关注星标
获取有趣、好玩的前沿干货！
来源 新智元 B站 编辑 yaxin 霜叶
来源 新智元 B站 编辑 yaxin 霜叶
【新智元导读】AI修复，给大诗人泰戈尔上色。近日，一段泰戈尔1930年演讲珍贵影像被AI修复还原，上色后的泰戈尔还真比想象中白了不少。
当近百年前的黑白影像披上了色彩，它的历史意义会不会多一层呢？
近日，一段泰戈尔1930年演讲珍贵影像被AI修复还原。
原片来自南卡罗莱纳大学胶片影像库MIRC。
这是一段泰戈尔1930年5月5日在巴黎对美国的演讲，也是泰戈尔现存仅有的几段有声影像之一。
「上色」后的泰戈尔还真比想象中白了不少。
网友调侃道，「泰戈尔这口英语是咖喱味儿吗」
英语虽是咖喱味儿的，却丝毫不影响我看得津津有味儿。
世界以痛吻我，要我报之以歌
泰戈尔说：「世界各国之间的距离，无时无刻在缩小。」
我想说，感谢AI, 我和您的距离也在缩小。一百年后的迷弟迷妹们， 也能够看到「太爷爷」的音
容笑貌，不得不说是AI在鼓励我挥起魔法棒。
不愧是伟大诗人，深邃眼眸带着锐利眼神，冉冉长须，一袭长袍风中飘飘，是不是时不时散发着
文青专属的飘飘仙气呢？
不愧是伟大诗人，他的一言一语，都无不透露着，他对世界大地爱得是那般深沉！
视频末，大谷还将泰戈尔全家福照片进行了上色，简直栩栩如生。
那这个视频的修复，背后究竟使用了怎样的技术呢？
多款开源工具，RIFE+国人项目GPEN重回1930
大谷介绍道，「延续上一期的技术流程，我使用了RIFE，Deep-Exemplar-based-Video-Colorization，GPEN等一系列人工智能项目。声音我也做了一下修复处理。」
其中RIFE是一个实时视频插帧方案，能实现老旧影像对高帧率的需求。
另外，在此大谷还经常使用的另一个补帧项目是DAIN。
第二个他提到的项目是：Deep-Exemplar-based-Video-Colorization。
这来自一种结合了图像检索与图像着色的模型。该模型首先会从大量参照图像中检索和灰度图相似的图像，然后再将该参照图像的配色方案迁移到灰度图中，实现了非常好的着色效果。
GPEN（GAN prior embedded network，GAN先验嵌入网络）是2021年的新晋开源项目，由国人打造，对亚洲人像还原效果更为出色。
结果表明，其效果明显优于最先进的严重损坏的人脸图像复原（Blind face restoration）方法。
还有DeOldify：DeOldify 使用了NoGAN 进行训练，NoGAN对于获得稳定和丰富多彩的图像是至关重要的。
NoGAN 训练结合了 GAN (美妙的着色)的好处，同时消除了副作用(如视频中的闪烁对象)。
视频渲染使用孤立的图像生成，没有天际任何时间建模。
大谷除了利用这些开源的AI模型，还结合了高超的后期技巧，百年前的老北京生活、上海时装秀才能栩栩如生地出现在人们面前。
下一次，你期待谁被复原呢？
参考资料：
https://b23.tv/NQhcCm
猜您喜欢：
CVPR 2021 | GAN的说话人驱动、3D人脸论文汇总
附下载 |《TensorFlow 2.0 深度学习算法实战》