大片既视感!快速生成好莱坞特效视频的开源库

开源前哨

共 1634字,需浏览 4分钟

 ·

2020-12-14 02:07

【导语】:SkyAR 是一种基于视觉的视频天空置换和协调方法,将某个视频中的真实天空背景,通过 AI 替换成类似科幻片中的电影场景,效果非常震撼。


简介


SkyAR 是一种基于视觉的视频天空置换和协调方法,可以在可控风格的视频中自动生成逼真和生动的天空背景,作者是Zhengxiao Zou。该方法是完全基于视觉的,可以处理非静态图像,而且对拍摄设备没有任何要求,也没有用户交互,可以很好地处理在线或离线视频。这个算法的处理过程主要包括天空渲染、运动估计和图像混合。


项目地址

https://github.com/jiupinjia/SkyAR


下载安装


1.安装以下依赖库

 


2.下载项目源码

git clone https://github.com/jiupinjia/SkyAR.git cd SkyAR

3.下载预训练模型并解压(国内需要木弟子)

https://drive.google.com/file/d/1COMROzwR4R_7mym6DL9LXhHQlJmJaV0J/view?usp=sharingunzip checkpoints_G_coord_resnet50.zip


简单使用


我们直接使用项目提供的视频和天空模板进行体验:


1. 使用影片《第九区》中的飞船做天空背景模板

python skymagic.py --path ./config/config-canyon-district9ship.json

效果如下:


2.使用超级月亮做天空背景模板

python skymagic.py --path ./config/config-annarbor-supermoon.json

果如下:


修改配置使用自定义视频和天空模板


在config目录下,有一些json格式的配置文件,我们可以根据自己的情况更改视频和天空模版,以修改 config-canyon-galaxy.json 为例:

{  "net_G""coord_resnet50",  "ckptdir""./checkpoints_G_coord_resnet50",  "input_mode""video",  "datadir""./test_videos/annarbor.mp4",  "skybox""floatingcastle.jpg",  "in_size_w"384,  "in_size_h"384,  "out_size_w"845,  "out_size_h"480,  "skybox_center_crop"0.5,  "auto_light_matching"false,  "relighting_factor"0.8,  "recoloring_factor"0.5,  "halo_effect"true,  "output_dir""./eval_output",  "save_jpgs"false}

ckptdir 为预训练模型文件解压后的目录,datadir 为输入视频的目录,skybox 为使用的天空模版,生成效果视频保存到 output_dir 目录中。


修改好配置文件,使用以下命令直接运行:

python skymagic.py --path .\config\config-canyon-galaxy.json

使用浮动的城堡为天空背景,效果如下:

 


最后附上官方的效果视频供大家欣赏一下:



- EOF - 


更多优秀开源项目(点击下方图片可跳转)


如果觉得本文介绍的开源项目不错,欢迎转发推荐给更多人。



分享、点赞和在看

支持我们分享更多优秀开源项目,谢谢!

浏览 37
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报