【整活】python实现肌肉金轮词云图视频，堪称中了金轮的毒
点击上方“AI算法与图像处理”，选择加"星标"或“置顶”
重磅干货，第一时间送达
一、前言
最近金轮（大司马）因为AI换脸《肌肉金轮》又火遍全网。
今天我利用周末的时间用AI技术整个活，娱乐的同时学点技术，秒啊！
大致要实现的效果是，在肌肉金轮的基础上，附上经典的语录。
二、实现的思路
1、获取素材
2、采用分割算法获取主体的mask
3、在 mask 上生成词云图
4、将词云图与原图融合
5、添加音频文件
三、代码实现
1、获取素材
包括：AI换脸后的视频、经典语录 txt 文件【文末附下载链接】
视频截图：
经典语录截图（这里我手动找了一些，大家可以自行搜索更多）：
2、采用抠图算法获取主体的mask
1）首先从视频中获取每一帧图片
import cv2cap = cv2.VideoCapture(r"output.mp4")num = 1while True:# 逐帧读取视频 按顺序保存到本地文件夹ret, frame = cap.read()if ret:if 1 <= num < 1700:cv2.imwrite(f"./test_data/test_images/img_{num}.jpg", frame) # 保存一帧帧的图片print(f'========== 已成功保存第{num}张图片 ==========')num += 1else:breakcap.release() # 释放资源
2）使用BASNet（CVPR 2019）的分割算法，抠图主体
环境配置：
Python 3.6numpy 1.15.2scikit-image 0.14.0PIL 5.2.0PyTorch 0.4.0torchvision 0.2.1glob
这里我使用高版本的pytorch 依然可以用（torch 1.6.0 + torchvision 0.7.0）
克隆项目
git clone https://github.com/NathanUA/BASNet.git下载必要的权重文件，并放置在路径saved_models/basnet_bsi/下
并将视频中抽取的图片放置在BASNet 项目的 est_data/test_images 下（建议可以考虑删除 test_iamges 和 test_results 下提供的demo素材）
运行
python basnet_test.py运行成果后即可在 test_results 文件下看到获取到的mask
3、在 mask 上生成词云图
代码：
# -*- coding: UTF-8 -*-from wordcloud import WordCloudimport collectionsimport jiebaimport refrom PIL import Imageimport matplotlib.pyplot as pltimport numpy as np# 读取数据with open('jinlun.txt') as f:data = f.read()# 文本预处理 去除一些无用的字符 只提取出中文出来new_data = re.findall('[\u4e00-\u9fa5]+', data, re.S)new_data = "/".join(new_data)# 文本分词seg_list_exact = jieba.cut(new_data, cut_all=True)result_list = []with open('stop_words.txt', encoding='utf-8') as f:con = f.read().split('\n')stop_words = set()for i in con:stop_words.add(i)for word in seg_list_exact:# 设置停用词并去除单个词if word not in stop_words and len(word) > 1:result_list.append(word)# 筛选后统计词频word_counts = collections.Counter(result_list)path = './wordcloud/'for num in range(1, 1668):img = f'./test_data/test_results/img_{num}.png'# 获取蒙版图片mask_ = 255 - np.array(Image.open(img))# 绘制词云plt.figure(figsize=(8, 5), dpi=200)my_cloud = WordCloud(background_color='black', # 设置背景颜色 默认是blackmask=mask_, # 自定义蒙版mode='RGBA',max_words=500,font_path='simhei.ttf', # 设置字体 显示中文).generate_from_frequencies(word_counts)# 显示生成的词云图片plt.imshow(my_cloud)# 显示设置词云图中无坐标轴plt.axis('off')word_cloud_name = path + 'wordcloud_{}.png'.format(num)my_cloud.to_file(word_cloud_name) # 保存词云图片print(f'======== 第{num}张词云图生成 ========')
4、将词云图与原图融合， 不好意思已中毒
代码：
import cv2for i in range(1,1668):src1_path = "./test_data/test_images/img_{}.jpg".format(i)src1 = cv2.imread(src1_path)src2_path = "./wordcloud/wordcloud_{}.png".format(i)src2 = cv2.imread(src2_path)dst = cv2.addWeighted(src1, 1, src2, 0.5,0)dst_img = "./result/{}.png".format(i)cv2.imwrite(dst_img,dst)print("img process {} !".format(dst_img))# 输出视频的保存路径video_dir = 'result-1.mp4'# 帧率fps = 24# 图片尺寸test = cv2.imread("./test_data/test_images/img_1.jpg")x,y,_ = test.shapeimg_size = (y, x)fourcc = cv2.VideoWriter_fourcc('M', 'P', '4', 'V') # opencv3.0 mp4会有警告但可以播放videoWriter = cv2.VideoWriter(video_dir, fourcc, fps, img_size)for i in range(1, 1668):img_path = './result/' + '{}.png'.format(i)frame = cv2.imread(img_path)frame = cv2.resize(frame, img_size) # 生成视频 图片尺寸和设定尺寸相同videoWriter.write(frame) # 写进视频里print(f'======== 按照视频顺序第{i}张图片合进视频 ========')videoWriter.release() # 释放资源
5、添加音频文件
import moviepy.editor as mpy# 读取词云视频my_clip = mpy.VideoFileClip('result-1.mp4')# 截取背景音乐audio_background = mpy.AudioFileClip('output.mp4')audio_background.write_audiofile('output.mp3')# 视频中插入音频final_clip = my_clip.set_audio(audio_background)# 保存为最终的视频 动听的音乐！漂亮小姐姐词云跳舞视频！final_clip.write_videofile('final_video.mp4')
结果展示
代码和素材获取，点击上面的小卡片，回复“金轮”即可获取
参考：
https://yetingyun.blog.csdn.net/article/details/112209719
https://github.com/xuebinqin/BASNet
好的，今天的分享就到这里，如果喜欢记得关注我，给我一个三连，感谢
个人微信（如果没有备注不拉群！） 请注明：地区+学校/企业+研究方向+昵称
下载1：何恺明顶会分享
在「AI算法与图像处理」公众号后台回复：何恺明，即可下载。总共有6份PDF，涉及 ResNet、Mask RCNN等经典工作的总结分析
下载2：终身受益的编程指南：Google编程风格指南
在「AI算法与图像处理」公众号后台回复：c++，即可下载。历经十年考验，最权威的编程规范！
下载3 CVPR2021 在「AI算法与图像处理」公众号后台回复：CVPR，即可下载1467篇CVPR 2020论文 和 CVPR 2021 最新论文
点亮 
，告诉大家你也在看