危!我用python克隆了女朋友的声音!
共 1427字,需浏览 3分钟
·
2021-12-24 18:11
大家好,我是 宝器。
今天,给大家介绍一个算法。
AI 算法 5 秒钟,就能克隆你的声音,你信吗?
听听这段音频,猜猜看是 AI 合成音,还是真人录音?
答案是:AI 合成。
这个人的原始声音在这里:
你给这个 AI 克隆声音的算法打几分?
上述两个音频,算法运行起来的效果:
MockingBird
这个算法是基于比较著名的 Real Time Voice Cloning 实现的。
MockingBird 是最近开源的中文版。
论文的名字是:
Transfer Learning from Speaker Verification to Multispeaker Text-To-Speech Synthesis
简单介绍下:
![](https://filescdn.proginn.com/b71586469b43684716ef4b2c33594618/f6813c66f478879749f60ffbbbd14f5f.webp)
算法分为三个模块:encoder模块、systhesis模块、vocoder模块。
encoder模块将说话人的声音转换成人声的数字编码(speaker embedding) synthesis 模块将文本转换成梅尔频谱(mel-spectrogram) vocoder模块将梅尔频谱(mel-spectrogram)转换成(波形)waveform
具体的算法原理,大家可以先看论文:
https://arxiv.org/pdf/1806.04558.pdf
论文还没详细看,等我研究好后,后面有机会再发吧。
今天主要聊聊,这个算法怎么玩。
项目地址:https://github.com/babysor/MockingBird
有深度学习基础的话,这个应该不难。
就是部署环境,分四步:
Anaconda 配置 Pytorch 开发环境 根据项目 requirements.txt 安装第三方库依赖 下载权重文件 下载训练集,这个几十G,有点大
具体的配置方法,直接看这里:
https://github.com/babysor/MockingBird/blob/main/README-CN.md
环境搭建的方法,可以参考我写过的两篇文章:
都搞定了,就可以运行代码了。
有两种模式可以启动,Web 模式和工具箱模式。
在项目根目录运行:
python web.py
即可开启 Web ,打开地址 http://localhost:8080 就能操作了。
![](https://filescdn.proginn.com/4124fc6a564db2f3c7d79db6a3085848/94e99444bcba68948ca29a1130230d5d.webp)
这个界面比较简陋,建议使用工具箱模式。
python demo_toolbox.py -d <datasets_root>
datasets_root
就是下载好的数据集的地址。
![](https://filescdn.proginn.com/270806a45b0d2df1b662c014ff0bb5c7/e7e72b3369e681169225e678e873ec4e.webp)
总结
Enjoy it!
喜欢的话,来个再看喽~
如果人多的话,后面我再出个详细的算法原理剖析和训练教程。
我们下期见~
![](https://filescdn.proginn.com/f7322e01eae2ad5a69f2d122a343049d/c06147da2aa39c348c598cd09811c0e9.webp)
推荐阅读
欢迎长按扫码关注「数据管道」