Wan2.1 视频生成大模型

Wan2.1 是一套全面而开放的视频基础模型，它突破了视频生成的界限。Wan2.1提供以下主要功能：

• SOTA 性能：Wan2.1在多个基准测试中始终优于现有的开源模型和最先进的商业解决方案。
• 支持消费级 GPU：T2V-1.3B 型号仅需 8.19 GB VRAM，可兼容几乎所有消费级 GPU。它可在约 4 分钟内（未使用量化等优化技术）在 RTX 4090 上生成 5 秒的 480P 视频。其性能甚至可与一些闭源模型相媲美。
• 多项任务：Wan2.1在文本转视频、图像转视频、视频编辑、文本转图像和视频转音频方面表现出色，推动了视频生成领域的发展。
• 视觉文本生成：Wan2.1是第一个能够生成中英文文本的视频模型，具有强大的文本生成功能，可增强其实际应用。
• 强大的视频 VAE：Wan-VAE提供卓越的效率和性能，可对任意长度的 1080P 视频进行编码和解码，同时保留时间信息，使其成为视频和图像生成的理想基础。

基于主流的DiT和线性噪声轨迹Flow Matching范式，万相大模型通过一系列技术创新实现了生成能力的重大进步。包括自研高效的因果3D VAE、可扩展的预训练策略、大规模数据链路构建以及自动化评估指标，这些创新共同提升了模型的最终性能表现。

高效的因果3D VAE：万相自研了一种专为视频生成设计的新型因果3D VAE架构，并结合多种策略来改进时空压缩、降低内存使用以及确保时间因果性。

视频Diffusion Transformer：万相模型架构基于主流的视频DiT结构，通过Full Attention机制确保长时程时空依赖的有效建模，实现时空一致的视频生成。

模型训练和推理效率优化：训练阶段，对于文本、视频编码模块，我们使用DP 和FSDP 组合的分布式策略；对于DiT模块，我们采用DP、FSDP、RingAttention、Ulysses混合的并行策略。在推理阶段，为了使用多卡减少生成单个视频的延迟，我们需要选择CP来进行分布式加速。此外，当模型较大时，还需要进行模型切分。