AnimateDiff 文本生成视频
招摇山
共 1529字，需浏览 4分钟
·
2024-03-28 13:00
AnimateDiff 是一个能够将个性化的文本转换为动态图像或视频（text to video）的扩展模型，它可以将生成的静态图像与动态运动结合起来，从而创建个性化的动画图像。
AnimateDiff 的主要特点是可以适用于大多数现有的个性化文本到图像模型，而无需进行特定的调整和训练。具体来说，AnimateDiff 通过向已经固定的基于文本到图像模型添加一个新的初始化运动建模模块，并在之后对视频片段进行训练，以蒸馏出一个合理的运动先验。一旦训练完成，通过简单地注入这个运动建模模块，所有派生于相同基础模型的个性化版本都可以变成文本驱动模型，可以生成多样且个性化的文本到视频动画图像。 使用 AnimateDiff(tex2vid)，您可以将自己的想象力转化为高质量的图像动画，而无需进行繁琐的模型特定调整。
详情可查看 AnimateDiff。
使用 ComfyUI
ComfyUI 是基于节点流程式的 WebUI， 通过将stable diffusion的流程拆分成节点，实现了更加精准的工作流定制和完善的可复现性。与 a111 相比，ComfyUI有着更快的出图速度和更小的资源占用，生成大图片的时候不会爆显存。
使用 A111
文本生成视频：
(masterpiece, best quality),
0:1girl,solo,cherry_blossoms,flower viewing,pink flowers,white flowers,spring,wisteria,petals,flower,plum_blossom,outdoor,falling petals,dark eyes,upper_body,white clothes,purple hair,
16:1girl,solo,lavender,blue sky and white clouds,summer,outdoor,falling rose petals,dark eyes,upper_body,white clothes,purple hair,
32:1girl,solo,orange leaves,yellow leaves,autumn,outdoor,fallen leaves,dark eyes,upper_body,white clothes,purple hair,
48:1girl,solo,plum_blossom,red leaves,winter,outdoor,falling snow,dark eyes,upper_body,white clothes,purple hair,
64:1girl,solo,cherry_blossoms,flower viewing,pink flowers,white flowers,spring,wisteria,petals,flower,plum_blossom,outdoor,falling petals,dark eyes,upper_body,white clothes,purple hair,
将总帧数设为80，帧率为8，就能生成一个10s的视频。上述 prompt 每2s（16帧）按照指令变换。
选择 运动模型，我使用的 mm_sd_v15_v2，可以配合 lora 来生成动画，如在 propmt 里面添加 ZoomIn 或 PanLeft 等。
保存格式自己选择，如：GIF 和 MP4。
效果：
评论