【深度学习】新垣结衣夫妇的孩子长啥样,用 BabyGAN 预测试试机器学习初学者共 2995字,需浏览 6分钟 ·2021-05-24 16:34 By 超神经内容一览:近日,日本男星星野源通过事务所发布声明,宣布结婚,新娘正是被不少男粉丝奉为「老婆」的新垣结衣。关键词:生成对抗网络 StyleGAN「老婆嫁人了」、「星野源夺妻之痛」、「爷青结」……星野源和新垣结衣官宣结婚后,不少网友发出了如上感叹。二人曾共同出演日剧《逃避可耻但有用》剧中两位主角原本是“契约结婚”,后终成眷属还有一波网友在坦然接受「失恋」现状后,转而关心起新垣结衣和星野源的孩子来,生怕孩子长得不像妈妈。微博网友对二人孩子长相,表现出了极大关心借助开源模型 BabyGAN,我们预测了新垣结衣和星野源未来孩子的长相。「大河」是《逃避虽然可耻但有用》剧中,二人孩子的名字。根据 BabyGAN 的预测,如果新垣结衣跟星野源的孩子是个女孩的话,那么不同年龄的大河可能长这样:BabyGAN 生成的女儿成长动图如果大河是个男孩的话,那么不同年龄的大河可能长这样:BabyGAN 生成的儿子成长动图 BabyGAN 到底是何方神器BabyGAN 是一个基于 StyleGAN 的儿童长相预测器,可以基于编码器和生成器,输入父亲和母亲的图像,经过神经网络的处理后,生成或预测未来孩子的长相。预测方法: 使用基于 GAN 架构的神经网络模型,从输入的父母图像中提取 latent representation,然后用算法将其按一定比例混合,生成孩子图像。父亲(左)、预测长相(中)、母亲(右)利用 latency direction,可以改变年龄、面部朝向、情绪及性别等参数。项目地址: https://github.com/tg-bomze/BabyGAN编码器: https://github.com/pbaylies/stylegan-encoder本教程主要演示了:1、从本地加载训练好的 BabyGAN 模型2、准备父母双方图像,并获取其 latent representation3、用模型生成孩子的面容4、调整孩子的性别、年龄等参数,生成符合需求的孩子图像调整孩子性别、年龄等属性的示意动画安装环境:Python:3.6;TensorFlow:1.15注意事项:本教程推荐使用 GPU 运行教程地址:https://openbayes.com/console/openbayes/containers/WOpfLGoTdkg 模型训练过程详解 1、准备工作2、准备父母图像3、生成孩子图像4、生成具有某些特征的孩子图像查看完整教程:https://openbayes.com/console/openbayes/containers/WOpfLGoTdkg StyleGAN 相关的高赞开源项目BabyGAN 模型基于 StyleGAN,除此之外,基于 StyleGAN 和 StyleGAN2,还派生出了诸多优质开源项目。 StyleALAE StyleALAE 是一个基于 StyleGAN 生成器的对抗隐性自动编码器,它不仅可以生成图像质量与 StyleGAN 相当的 1024 x 1024 人脸图像,而且在同样的分辨率下,还可以基于真实图像进行人脸重建和属性更改。StyleALAE 架构示意图StyleALAE 编码器使用 Instance Normalization (IN) 层来提取多尺度风格信息,这些信息通过可学习的多重线性映射 (learnable multilinear map),组合成隐式代码 w。相关论文:https://arxiv.org/pdf/2004.04467.pdf项目地址:https://github.com/podgorskiy/ALAE StyleFlow 虽然使用 StyleGAN 可以轻松生成高质量、多样化、逼真的图像,但是使用(语义)属性控制生成过程、同时又保持高质量输出,实现起来却并不简单。此外由于 GAN 潜在空间的纠缠特性,沿着一个属性编辑很容易引起其他属性的变化。为了解决纠缠潜在空间的条件化探索中,属性条件化采样 (attribute-conditioned sampling) 和属性条件化编辑 (attribute- conditioned editing) 的问题,科研人员提出了 StyleFlow。利用 StyleFlow 可以针对某一属性进行修改而不引起其他属性的变化如只更改光照、姿势、表情、性别等用 StyleFlow 对真实图像进行非顺序 (non-sequential) 编辑,针对老年人、非对称等极端图像时,效果优于并发方法 (concurrent method)。相关论文:https://rameenabdal.github.io/StyleFlow/项目地址:https://github.com/RameenAbdal/StyleFlow Pixel2style2pixel (pSp) pSp 是一个用于图像到图像转换的 StyleGAN 编码器,它基于一个新型编码网络,可以直接生成一系列风格向量,这些风格向量被输入到预训练 StyleGAN 生成器中,形成扩展的 w+ 潜在空间。在 pSp 中,编码器无需额外优化就可以直接将真实图像嵌入 w+ ,且利用编码器可以直接解决图像到图像的转换任务,并将其定义为从输入域到潜在域的编码问题。pSp 在 StyleGAN 反演、多模态条件图像合成人脸正面化、图像修复和超分辨率场景中的成果展示pSp 可以在不改变结构的前提下,处理各种各样的图像转换任务,如由分割图生成人脸图像、人脸正面化、超分辨率等。相关论文:https://arxiv.org/abs/2008.00951项目地址:https://github.com/eladrich/pixel2style2pixel GenForce GenForce 是一个适用于 StyleGAN、StyleGAN2、PGGAN 等深度生成模型的高效 PyTorch 库,它具有以下特点:1、分布式训练框架2、训练速度快3、模块化设计,适用于新模型的原型制作4、与官方 TF 版本相比,高度再现了 StyleGAN 的训练5、包含众多带 Colab demo 的预训练 GAN 模型部分 GenForce 相关项目及论文相关论文:https://genforce.github.io/项目地址:https://github.com/genforce/genforce往期精彩回顾适合初学者入门人工智能的路线及资料下载机器学习及深度学习笔记等资料打印机器学习在线手册深度学习笔记专辑《统计学习方法》的代码复现专辑AI基础下载机器学习的数学基础专辑温州大学《机器学习课程》视频本站qq群851320808,加入微信群请扫码: 浏览 20点赞 评论 收藏 分享 手机扫一扫分享分享 举报 评论图片表情视频评价全部评论推荐 新垣结衣夫妇的孩子长啥样,用 BabyGAN 预测试试数据派THU0新垣结衣夫妇的孩子长啥样,用 BabyGAN 预测试试Python知识圈0新垣结衣夫妇的孩子长啥样,用 BabyGAN 预测试试大数据文摘0新垣结衣夫妇的孩子长啥样,用 BabyGAN 预测试试AI算法与图像处理0为什么程序员都喜欢新垣结衣?开发者技术前线0新垣结衣写真集|八百万直男的初恋女友python教程0新垣结衣嫁了个“非典型性”程序员Python涨薪研究所0新垣结衣嫁了个“非典型性”程序员后端技术漫谈0深度学习之后会是啥?大数据文摘0深度学习之后会是啥?小白学视觉0点赞 评论 收藏 分享 手机扫一扫分享分享 举报