「AI 完美复刻」的人物肖像画生成

AI算法与图像处理

共 1808字，需浏览 4分钟

·

2020-11-28 16:28

点击上方“AI算法与图像处理”，选择加"星标"或“置顶”

重磅干货，第一时间送达

来源：Jack Cui

今年提出的 U^2-Net 显著性检测算法，刷爆了 reddit 和 twitter，号称是 2020 年「地表最强」的静态背景分割算法，可以看下效果：

你以为今天要讲分割？错！

U^2-Net 这两天又出新活，在 U^2-Net 网络架构基础上，实现了人物肖像画的生成，细节「完美」复刻。

我用自己的「歪脖子照」测试了下效果。

万年不变老规矩，继续手把手教学。

算法原理、环境搭建、效果实现，一条龙服务，尽在下文！

1

U^2-Net

受 U-Net 网络的启发，U^2-Net 也是一种类似编码-解码（Encoder-Decoder）的网络结构。

研究者在此基础上，提出了新型残差 U-block（ReSidual U-block, RSU），融合不同尺寸接受野的特征，以捕获更多不同尺度的上下文信息。

RSU 网络与现有卷积块的结构对比如下：

最右边的结构，就是 RSU-L，L 表示编码器中的层数，C_in、C_out 分别表示输入和输出通道，M 表示 RSU 内层通道数。

具体而言，RSU 主要有三个组成部件，分别是一个输入卷积层、一个高度为 L 的类 U-Net 对称编码器 - 解码器结构以及一个通过求和来融合局部和多尺度特征的残差连接。

为了更好地理解设计理念，研究者在下图中对 RSU 与原始残差块进行了比较。

结果显示，RSU 与原始残差块的最大区别在于 RSU 通过一个类 U-Net 的结构替换普通单流卷积，并且通过一个由权重层转换的局部特征替换原始特征。

更值得注意的是，得益于 U 形结构，RSU 的计算开销相对较少，因为大多数运算在下采样特征图中应用。下图展示了 RSU 与其他特征提取模块的计算成本曲线图：

U^2-Net 的整体网络架构如下：

U^2-Net 主要由三部分组成：

6 阶段编码器；
5 阶段解码器；
与解码器阶段和最后编码器阶段相连接的显著图融合模块。

说完网络结构，再看下损失函数，研究者使用了类似于整体嵌套边缘检测（HED）的深度监督算法：

其中，M=6, 为 U^2-Net 的 Sup1, Sup2, ..., Sup6 stage。

为 Sup1, Sup2, ..., Sup6 输出的显著图

的损失函数。

为最终融合输出的显著图

的损失函数。

为每个损失函数的权重。

对于每个 l ，采用标准的二值交叉熵损失函数：

其中，(r, c) 为像素坐标；(H, W) 为图像尺寸，height 和 width。

分别表示 GT 像素值和预测的显著概率图。

总的来说，U^2-Net 的设计构建了具有丰富多尺度特征以及较低计算和内存成本的深度架构。

更详细的内容，可以直接看 paper：

https://arxiv.org/pdf/2005.09007.pdf

2

效果测试

Github 项目地址：

https://github.com/NathanUA/U-2-Net

第一步：搭建测试环境。

很简单，没啥特殊的库，安装好 Pytorch、Numpy、Skimage 等基础第三方库即可。

第二步：下载训练好的模型权重文件。

我将程序和权重文件都进行了打包，嫌麻烦，可以下载直接使用。

下载地址（提取码：jack）：

https://pan.baidu.com/s/1SVLDDofEfrA9PGz5WcSP7g

第三步：在工程目录，运行程序。

python u2net_portrait_test.py

在 u2net_portrait_test.py 可以查看输入图片路径和输出图片路径：

最后再看下运行效果：

下载1：leetcode 开源书

在「AI算法与图像处理」公众号后台回复：leetcode，即可下载。每题都 runtime beats 100% 的开源好书，你值得拥有！

下载2 CVPR2020

在「AI算法与图像处理」公众号后台回复：CVPR2020，即可下载1467篇CVPR 2020论文

个人微信（如果没有备注不拉群！）

请注明：地区+学校/企业+研究方向+昵称

觉得不错就点亮在看吧

浏览 90

点赞

收藏

分享

举报

评论

图片

表情

「完美复刻」的人物肖像画生成

sd-webui-EasyPhoto生成 AI 肖像画

EasyPhoto是一款stable-diffusion-webui插件，用于生成AI肖像画。该代码可用于训练与你相关的数字分身。建议使用5到20张肖像图片进行训练，最好是半身照片且不要佩戴眼镜（少量

sd-webui-EasyPhoto生成 AI 肖像画

EasyPhoto是一款 stable-diffusion-webui 插件，用于生成 AI 肖像画

皱眉细节完美复刻，阿尔伯塔大学团队标星1.7K的项目生成超逼真的肖像画

小白学视觉

AI生成视频（上）- AI生成图片

2024.03.23 晚上9点，我邀请AI产品专家免费给大家分享：AI生成视频（上）- AI生成图片（Stable Diffusion 模型生成图片原理介绍），为了不错过直播，可长按识别下方二维码预约。

Dolly低成本生成式 AI

Dolly 是一个低成本的 LLM，Dolly 采用 EleutherAI 现有的 60 亿参数的开

Dolly低成本生成式 AI

Dolly是一个低成本的LLM，Dolly采用EleutherAI现有的60亿参数的开源模型，并对其进行细微的修改，以激发指令跟随能力。开始训练将dollyrepo添加到Databricks（在Rep

病毒式生成视频，这款 AI 生成视频工具有多强大？ #morise AI

Mix Lab味知实验室

GenAIIPython 的生成式 AI 工具

GenAIIPython 的生成式 AI 工具

roomGPT使用 AI 生成房间设计图

roomGPT可使用AI为你的房间生成新设计，上传现有的房间照片，它会给你一个高大上的新房间设计。只需要给你的房间拍一张照，或是房间的3D效果图，并将其上传，即可用AI生成对应的梦幻房间效果图。原理：

点赞

收藏

分享

举报