全平台AI视频补帧工具(DAIN/CAIN/RIFE-ncnn-vulkan)
AI算法与图像处理
共 1890字，需浏览 4分钟
·
2020-12-23 20:46
点击上方“AI算法与图像处理”，选择加"星标"或“置顶”
重磅干货，第一时间送达
话说Happy很早之前就在关注nihui大佬的NCNN版本的视频插帧工具了，大概是在CAIN吧，也是从那个时候起开始对视频插帧产生了兴趣。现在DAIN 、CAIN、RIFE三个优秀视频插帧工具来了，感兴趣的同学建议去下载试用一下。
注：本文已获作者授权转载，转载请联系作者。
https://zhuanlan.zhihu.com/p/338258331
编辑：AI walker
功能
支持的操作系统
Windows Linux MacOS(Happy体验过多次，切实好用，哈哈)
支持的显卡
Nvidia AMD Intel Apple (Apple M1)
特性
DAIN 支持任意时刻点补帧，如0.1，0.3，0.99这样，速度较慢，显存占用高 CAIN/RIFE 只支持0.5时刻点补帧，速度较快，显存占用低
下载地址
DAIN：https://github.com/nihui/dain-ncnn-vulkan/releases CAIN：https://github.com/nihui/cain-ncnn-vulkan/releases RIFE：https://github.com/nihui/rife-ncnn-vulkan/releases
用法简介
下载对应软件包zip + 模型包zip，解压到同一个目录中 ffmpeg 视频抽帧到文件夹 + 解出音频 使用本AI视频补帧工具(DAIN/CAIN/RIFE)，进行图片文件夹到文件夹补帧运算 ffmpeg 将补好帧的图片文件 + 音频编码为最终视频
mkdir input_frames
mkdir output_frames
# find the source fps and format with ffprobe, for example 24fps, AAC
ffprobe input.mp4
# extract audio
ffmpeg -i input.mp4 -vn -acodec copy audio.m4a
# decode all frames
ffmpeg -i input.mp4 input_frames/frame_%06d.png
# interpolate 2x frame count
./rife-ncnn-vulkan -i input_frames -o output_frames
# encode interpolated frames in 48fps with audio
ffmpeg -framerate 48 -i output_frames/%08d.png -i audio.m4a -c:a copy -crf 20 -c:v libx264 -pix_fmt yuv420p output.mp4
开源项目地址
https://github.com/baowenbo/DAIN https://github.com/myungsub/CAIN https://github.com/hzwer/arXiv2020-RIFE https://github.com/nihui/dain-ncnn-vulkan https://github.com/nihui/cain-ncnn-vulkan https://github.com/nihui/rife-ncnn-vulkan
效果展示
输入两张图，中间补一帧
DAIN效果如下：
CAIN效果如下：
RIFE效果如下：
注：banner原作：https://www.pixiv.net/artworks/84655195
下载1：何恺明顶会分享
在「AI算法与图像处理」公众号后台回复：何恺明，即可下载。总共有6份PDF，涉及 ResNet、Mask RCNN等经典工作的总结分析
下载2：leetcode 开源书
在「AI算法与图像处理」公众号后台回复：leetcode，即可下载。每题都 runtime beats 100% 的开源好书，你值得拥有！
下载3 CVPR2020 在「AI算法与图像处理」公众号后台回复：CVPR2020，即可下载1467篇CVPR 2020论文 个人微信（如果没有备注不拉群！） 请注明：地区+学校/企业+研究方向+昵称
觉得不错就点亮在看吧
评论