DeOldify让黑白老照片和视频恢复原彩

DeOldify 是用于着色和恢复旧图像及视频的深度学习项目。

它采用了 NoGAN 这样一种新型的、高效的图像到图像的 GAN 训练方法。细节处理效果更好，渲染也更逼真。

示例

△“移民母亲” by Dorothea Lange（1936）

△"Toffs and Toughs" by Jimmy Sime (1937)

△中国鸦片吸烟者（1880）

NoGAN

NoGAN 是作者开发的一种新型 GAN 训练模型，用于解决之前 DeOldify 模型中的一些关键问题。

NoGAN 在 DeOldify 中对于保证视频着色的稳定性来说至关重要。NoGAN 训练结合了 GAN 训练的优点（好看的色彩），同时消除了令人讨厌的副作用（如视频中的闪烁物体）。视频由孤立的图像生成，而不添加任何时间建模。该过程执行 30-60 分钟 “NoGAN” 训练的 GAN 部分，每次使用 1% 至 3% 的图像网络（imagenet）数据。然后，与静止图像着色一样，在重建视频之前对各个帧进行“去旧化”（DeOldify）。

除了提高视频稳定性之外，还有一件趣事值得一提。事实证明，即使是不同的模型和不同的训练结构，仍然可以或多或少获得相同的解决方案。即使有些事物的颜色被认为是任意或不可知的，例如服装、汽车甚至特殊效果的颜色（如《大都会》中所见）。

△Metropolis  电影《大都会》（1927）

作者猜测，模型正在学习一些有趣规则，寻找黑白图像中存在的微妙线索，并以此来着色。这不是没有道理的，因为该模型具有更高保真度的图像信息，并且将更有可能一致地做出“正确”的决定。这导致了确定和一致的结果，意味着你没有跟踪模型着色决策，因为它们不是任意的。此外，它们看起来非常健壮，即使在移动场景中的渲染也非常一致。

其他保持视频稳定性的方法还包括：以更高分辨率（更高的 render_factor）渲染；使用 resnet101 而不是 resnet34 作为生成器的主干——对象的检测更加一致和正确。此外，在训练期间高斯噪声增强似乎也有所帮助。

目前，DeOldify 有三种型号可供选择，每一种都有关键优势和劣势，因此具有不同的用例。

三种型号分别为：Artistic（艺术型）、Stable（稳定型）、Video（视频专用）

安装

硬件和操作系统要求

• BEEFY 显卡（仅限训练）
• 一个普通显卡（单独着色）
• Linux（或 Windows 10） 

使用 Anaconda 进行简单安装

打开命令行并导航到要安装的根文件夹，键入以下命令：

git clone https://github.com/jantic/DeOldify.git DeOldify
cd DeOldify
conda env create -f environment.yml

然后开始使用这些命令运行：

source activate deoldify
jupyter lab

通过控制台中提供的 URL 开始在 Jupyter Lab 中运行