心中无码便是高清,马赛克“脑补”算法 PULSE-技术圈

来源 | Jack Cui

万恶马赛克

万恶的马赛克，是阻碍人类进步的绊脚石。
马赛克“脑补”算法 PULSE，助你图片模糊变高清。

这是杜克大学近期的一项研究，将模糊人脸秒变高清。

PULSE 算法目前只支持人脸的马赛克“去除”，因为训练数据都是人脸。
也就是说，“脑补”其它物体马赛克下的内容也是可以的，只要你有数据！
我知道，你一定又有了一些大胆的想法！
「 Just do it 」 !

今天，继续手把手教学。
算法原理、环境搭建、效果测试，一条龙服务，尽在下文！

算法原理
PULSE 算法可以在几秒内，将 16x16 像素的低分辨率（Low Resolution，以下简称 LR）小图，放大 64 倍，变成 1024 x 1024 像素的高分辨率（High Resolution，以下简称 HR）图像。
PULSE 算法会「脑补」出 LR 图像一些不存在的特征，补充细节，例如纹理、毛孔、毛发等：

左图为原始 LR 图片，右图为 PULSE 算法生成的 HR 图片。
PULSE 算法的思路是，拿到一张 LR 图片，使用 stylegan 生成 HR 图片，再将 HR 图片 downscale 得到的 LR 图片与原始 LR 图片对比，一直迭代收敛，找到最接近的那张。如下图所示：

原始 LR 图片和 PULSE 修复后再 donwscale 的 LR 图片对，使两者最接近的 HR 图片，就是修复得到的 HR 图片。

该算法在著名的高分辨率人脸数据集 CelebA HQ 上进行了效果评估，用 64×，32× 和 8× 的比例因子，采用不同的算法，进行了对比实验。
实验表明，PULSE 算法的效果最佳，得分几乎与真实的高质量照片一样高。

通过上图，可以清晰地看到，PULSE 算法在人脸不同位置的纹理细节。

不过 PULSE 算法也有一定的局限性，它无法将失焦、不能识别的人脸照片，变成照片真人的清晰图像，它仅会生成不存在但看上去很真实的新面孔。
说白了，PULSE 生成的高清图片，是「脑补」出来的，与真实的人脸照片可能存在差别。

环境搭建
PULSE 算法采用 Pytorch 实现，使用了 dlib 人脸库的一些 API。
项目地址：https://github.com/adamian98/pulse
环境搭建不复杂，工程里的 pulse.yml 文件，已经写明了依赖环境。

name: pulsechannels:  - pytorch  - defaultsdependencies:  - blas=1.0=mkl  - ca-certificates=2020.1.1=0  - certifi=2020.4.5.1=py38_0  - cffi=1.14.0=py38hc512035_1  - chardet=3.0.4=py38_1003  - cryptography=2.9.2=py38ha12b0ac_0  - cycler=0.10.0=py38_0  - freetype=2.9.1=hb4e5f40_0  - idna=2.9=py_1  - intel-openmp=2019.4=233  - jpeg=9b=he5867d9_2  - kiwisolver=1.2.0=py38h04f5b5a_0  - libcxx=10.0.0=1  - libedit=3.1.20181209=hb402a30_0  - libffi=3.3=h0a44026_1  - libgfortran=3.0.1=h93005f0_2  - libpng=1.6.37=ha441bb4_0  - libtiff=4.1.0=hcb84e12_0  - matplotlib=3.1.3=py38_0  - matplotlib-base=3.1.3=py38h9aa3819_0  - mkl=2019.4=233  - mkl-service=2.3.0=py38hfbe908c_0  - mkl_fft=1.0.15=py38h5e564d8_0  - mkl_random=1.1.0=py38h6440ff4_0  - ncurses=6.2=h0a44026_1  - ninja=1.9.0=py38h04f5b5a_0  - numpy=1.18.1=py38h7241aed_0  - numpy-base=1.18.1=py38h6575580_1  - olefile=0.46=py_0  - openssl=1.1.1g=h1de35cc_0  - pandas=1.0.3=py38h6c726b0_0  - pillow=7.1.2=py38h4655f20_0  - pip=20.0.2=py38_3  - pycparser=2.20=py_0  - pyopenssl=19.1.0=py38_0  - pyparsing=2.4.7=py_0  - pysocks=1.7.1=py38_0  - python=3.8.2=hf48f09d_13  - python-dateutil=2.8.1=py_0  - pytorch=1.5.0=py3.8_0  - pytz=2020.1=py_0  - readline=8.0=h1de35cc_0  - requests=2.23.0=py38_0  - scipy=1.4.1=py38h44e99c9_0  - setuptools=46.2.0=py38_0  - six=1.14.0=py38_0  - sqlite=3.31.1=h5c1f38d_1  - tk=8.6.8=ha441bb4_0  - torchvision=0.6.0=py38_cpu  - tornado=6.0.4=py38h1de35cc_1  - urllib3=1.25.8=py38_0  - wheel=0.34.2=py38_0  - xz=5.2.5=h1de35cc_0  - zlib=1.2.11=h1de35cc_3  - zstd=1.3.7=h5bba6e5_0  - pip:    - dlib==19.19.0prefix: /path/to/your/anaconda3/envs/pulse

直接使用 pulse.yml 文件，用 Anaconda 进行环境配置。
修改 pulse.yml 文件中 prefix 的路径为你的 Anaconda 路径，然后使用指令创建环境：

conda create -f pulse.yml

这是官方推荐的方法。亲测，依然遇到了一些依赖问题。
最后一个一个依赖包安装才解决，所以我建议是使用 Anaconda 通过第三方库的包名安装，不用管版本啥的，例如：

conda install ca-certificates requests

libcxx、libedit 等这类的 lib 库不用安装，Anaconda 在创建 Python 环境的时候已经安装好了。
这里面稍微难安装的就是 dlib，dlib 需要使用 cmake 进行编译，所以需要先安装好 cmake，这里使用 pip 安装即可：

python -m pip install cmake dlib

都搞定了，环境就算搭建完成了。

效果测试
PULSE 项目地址：https://github.com/adamian98/pulse
下载项目到本地：

git clone https://github.com/adamian98/pulse

项目提供了 pretrained model ，模型放在了 Google Drive ，不能翻墙的无法下载。
所以我将模型下载好，上传到了我的百度网盘。
下载地址（提取码：3gpq）：https://pan.baidu.com/s/13NZ8RY8KSogY78xh3gpcJA
在工程目录，创建 cache、realpics 两个文件夹，将下载好的三个文件放到 cache 文件夹内。
然后将下图放到 realpics 文件夹内，我们以此图为例，进行测试。

图片下载地址：https://cuijiahua.com/wp-content/uploads/2020/07/dl-21-6.jpg
首先，我们使用 align_face.py 对图片 downscale。

python align_face.py

程序使用 dlib 检测人脸框，并对检测到的人脸进行降低分辨率处理，默认降低为 32x32 分辨率的图片。
生成的图片会放到 input 文件夹内，如果将图片放大到 1024x1024，就是相当于一张布满马赛克的图片。

有了这张 LR 图片，也就是低分辨率图片，使用 PULSE 算法，看下「脑补」效果吧！

python run.py -steps=2000

运行 run.py ，迭代 2000 steps，在 runs 文件夹下就会生成“去除”马赛克后的「脑补」图。

「脑补」图跟原图还是有些神似的！

争议
我们都知道，今年 5 月 25 日美国的「跪杀黑人」事件。

由此引发了美国有史以来，最大规模的游行抗议。

6 月份，吃“美国瓜”的人应该不在少数，比如我就在 YouTube 上吃了一个月的瓜。
每个国家都有自己的敏感话题。
而美国，现在的敏感话题就是「种族歧视」。
PULSE 算法惹了大麻烦。
PULSE 采用 CelebA-HQ 训练的模型，数据集都是白人，因此算法「脑补」出的也都是白人脸。
这在如今高喊「黑命贵」的美国，无疑是一股扎眼的“逆流”。
有网友就拿奥巴马的低分辨率照片进行测试，结果生成的都是白人男性，更加坐实了 PULSE 算法的「种族歧视」罪名。

PULSE 算法，以及相关的研究人员，因此被打上了「种族偏见」的标签。
甚至深度学习领军人物 LeCun 因为替 PULSE 说话，也不幸躺枪。
我倒是在想，以后美国科研的数据集是不是也得像美国电影一样，一部剧必须得有黑人演员才行，否则就算「政治不正确」。
扛着「政治正确」大旗的人们“口诛笔伐”异己，欲加之罪，何患无辞。
技术，有罪吗？

最后

PULSE 算法对于非数据集的数据，「脑补」效果一般。
想用 PULSE 算法，“去除”人脸以外的马赛克图，需要建立数据集，重新训练模型。