用不到20行代码制作一个 “手绘风” 视频
共 6329字,需浏览 13分钟
·
2021-04-24 02:22
📙【当当书香节优惠码】📕
200-30 优惠码: NR9EZR
300-60 优惠码:HNZVTA
有效期:4.12-4.23
可叠加官方满减优惠;限当当自营(教辅教材除外)
当当小程序、APP 和网站都可使用
详细使用方法见今日推送第二篇文章。
大家好,欢迎来到 Crossin的编程教室 !
今天分享的文章与计算机视觉相关,用不到 20 行Python代码将一张实拍图片转化为手绘风,无需对图片进行任何预处理、后处理;代码中只借助了两个常见库,核心计算由 Numpy 负责 ,Pillow 负责图片读写
在正文开始之前,先看一下效果,下面是单张图片转换前后对比
图一
图二
图三
为了增加趣味性,再将这段代码应用到一个视频中,新鲜的 “手绘风视频” 出炉
“手绘风”实现步骤
讲解之前,需要了解手绘图像的三个主要特点:
图片需为灰度图,是单通道的; 边缘部分线条较重涂抹为黑色,相同或相近像素值转换后趋于白色; 在光源效果的加持下,灰度变化可模拟人类视觉的远近效果
读取图片,转化为数组
因为后面要用到像素计算,为了方便,事先将读取后的图片转化为数组
a = np.asarray(Image.open("Annie1.jpg").convert('L')).astype('float')
计算 x,y,z 轴梯度值,并归一化
刚才提到手绘照片的一个特点,就是 手绘照片对边缘区域更加侧重,定位图片边缘部分,最有效方式就是计算梯度,用灰度变化来模拟图片远近效果,depth 表示预设深度,z 轴默认梯度为 1
depth = 10. # (0-100)
grad = np.gradient(a) # 取图像灰度的梯度值
grad_x, grad_y = grad # 分别取横纵图像梯度值
grad_x = grad_x * depth / 100.
grad_y = grad_y * depth / 100.
对梯度值完成归一化操作
A = np.sqrt(grad_x ** 2 + grad_y ** 2 + 1.)
uni_x = grad_x / A
uni_y = grad_y / A
uni_z = 1. / A
加入光源效果
手绘风图片除了计算梯度值之外,还需要考虑光源影响。光源入射的角度不同会对 x,y,z 各轴上的梯度值有不同程度的影响。添加一个模拟光源,放置在斜上方,与 x , y 分别形成两个夹角
并且这两个夹角是通过实验得到是已知的,然后根据正弦余弦函数计算出最终新的像素值
vec_el = np.pi / 2.2 # 光源的俯视角度,弧度值
vec_az = np.pi / 4. # 光源的方位角度,弧度值
dx = np.cos(vec_el) * np.cos(vec_az) # 光源对 x轴的影响
dy = np.cos(vec_el) * np.sin(vec_az) # 光源对 y轴的影响
dz = np.sin(vec_el) # 光源对z 轴的影响
b = 255 * (dx * uni_x + dy * uni_y + dz * uni_z) # 光源归一化,8 255
b = b.clip(0, 255)# 对像素值低于0,高于255部分做截断处理
导出图片,并保存
im.save("Annie_shouhui.jpg")
以下是该步骤涉及到的的全部代码
from PIL import Image
import numpy as np
a = np.asarray(Image.open("Annie1.jpg").convert('L')).astype('float')
depth = 10. # (0-100)
grad = np.gradient(a) # 取图像灰度的梯度值
grad_x, grad_y = grad # 分别取横纵图像梯度值
grad_x = grad_x * depth / 100.
grad_y = grad_y * depth / 100.
A = np.sqrt(grad_x ** 2 + grad_y ** 2 + 1.)
uni_x = grad_x / A
uni_y = grad_y / A
uni_z = 1. / A
vec_el = np.pi / 2.2 # 光源的俯视角度,弧度值
vec_az = np.pi / 4. # 光源的方位角度,弧度值
dx = np.cos(vec_el) * np.cos(vec_az) # 光源对 x轴的影响
dy = np.cos(vec_el) * np.sin(vec_az) # 光源对 y轴的影响
dz = np.sin(vec_el) # 光源对z 轴的影响
b = 255 * (dx * uni_x + dy * uni_y + dz * uni_z) # 光源归一化
b = b.clip(0, 255)
im = Image.fromarray(b.astype('uint8')) # 重构图像
im.save("Annie_shouhui.jpg")
制作手绘风视频
图片转化后的效果虽然也不错,但图片毕竟是静态的,人作为视觉动物,如果能做成动态的那再好不过了,知道上面的方法之后,只需对视频再加上一个拆帧合并操作,就能制作一个手绘风视频效果。
首先我们需要一个待转换的视频文件。这里我用 you-get 工具在 B 站上找了一个视频,下载了下来
you-get --format=dash-flv -o ./ https://www.bilibili.com/video/BV1tT4y1j7a9?from=search&8014393453748720686
下载完之后,用 OpenCV2 对视频进行切帧操作,将视频转为一张张图片,同时对图片进行手绘风格转化,再写出到本地视频文件中
vc = cv2.VideoCapture(video_path)
c = 0
if vc.isOpened():
rval,frame = vc.read()
height,width = frame.shape[0],frame.shape[1]
print(height, width)
else:
rval = False
height,width = 960,1200
# jpg_list = [os.path.join('Pic_Directory/',i) for i in os.listdir('Pic_Directory') if i.endswith('.jpg')]
fps = 24 # 视频帧率
video_path1 = './text.mp4'
video_writer = cv2.VideoWriter(video_path1,cv2.VideoWriter_fourcc(*'mp4v'),fps,(width,height))
while rval:
rval,frame = vc.read()# 读取视频帧
img = coonvert_jpg(Image.fromarray(frame))
frame_converted = np.array(img)
# 转化为三通道
image = np.expand_dims(frame_converted,axis = 2)
result_arr = np.concatenate((image,image,image),axis = -1)
video_writer.write(result_arr)
print('Sucessfully Conveted---------{}'.format(c))
c = c + 1
if c >= 3000:
break
video_writer.release()
在图片序列提取时,需要注意一点,因为转化后的图片是单通道的,直接借助 OpenCV 生成视频序列是无法播放的,需增加一个步骤单通道转化为三通道!
# 转化为三通道
image = np.expand_dims(frame_converted,axis = 2)
result_arr = np.concatenate((image,image,image),axis = -1)
想让生成的视频更有感觉的话可以添加一个背影音乐,借助剪辑软件、Python 都可以实现。
小结
本文主要介绍了如何用 Python将一张图片转化为手绘风格,代码量不多,可以很方便地应用。不过背后的原理并不简单,涉及数学、物理相关的知识点。
文中涉及到的源码大部分其实都已经贴在文章,但为了方便起见,我已经将数据和源码整合在一起,想获取的同学可以,请在公号后台回复关键字:手绘
如果文章对你有帮助,欢迎转发/点赞/收藏~
作者:zeroing
_往期文章推荐_