VideoCrafter视频生成和编辑工具箱

联合创作 · 2023-09-25 22:55

VideoCrafter 是一个用于制作视频内容的开源视频生成和编辑工具箱。

目前包括以下三种型号:

Base T2V:通用文本到视频生成

提供基于潜在视频扩散模型 (LVDM) 的基本文本到视频 (T2V) 生成模型,可以根据输入的文本描述合成逼真的视频。

"Campfire at night in a snowy forest with starry sky in the background."
“晚上在白雪皑皑的森林里篝火晚会,背景是星空。”

"Cars running on the highway at night."
“晚上在高速公路上行驶的汽车。”

VideoLoRA:使用 LoRA 生成个性化文本到视频

基于预训练的 LVDM,可以通过在一组描述特定概念的视频剪辑或图像上对其进行微调,来创建自己的视频生成模型。

以下是 VideoLoRA 模型的生成结果,这些模型在四种不同风格的视频剪辑上进行了训练。

通过提供描述视频内容的句子以及 LoRA 触发词(在 LoRA 训练期间指定),它可以生成具有所需风格(或主题/概念)的视频。

 A monkey is playing a piano, ${trigger_word} 输入四个VideoLoRA模型的结果:

"Loving Vincent style" 

"frozenmovie style" “冰冻电影风格”

"MakotoShinkaiYourName style" “新海诚你的名字风格”

"coco style" “可可风格”

VideoControl:具有更多条件控制的视频生成

通过在 T2V 模型上插入一个轻量级的适配器模块,可以获得具有更详细的控制信号(如深度)的生成结果。

input text: Ironman is fighting against the enemy, big fire in the background, photorealistic, 4k


浏览 20
点赞
评论
收藏
分享

手机扫一扫分享

编辑 分享
举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

编辑 分享
举报