AudioLDM2文本转音频/音乐生成

AudioLDM2 支持文本到音频（包括音乐）和文本到语音生成。目前支持：

• 添加文本转语音 checkpoint
• 支持生成更长的音频（>10s）
• 优化模型的推理速度。
• 与 Diffusers 库集成（参阅 Diffusers）

预训练模型

可以通过设置“model_name”来选择模型 checkpoint：

# CUDA
audioldm2 --model_name "audioldm2-full" --device cuda -t "Musical constellations twinkling in the night sky, forming a cosmic melody."

# MPS
audioldm2 --model_name "audioldm2-full" --device mps -t "Musical constellations twinkling in the night sky, forming a cosmic melody."

有五个 checkpoint 可供选择：

1. audioldm2-full（默认）：使用 AudioLDM2 架构生成音效和音乐。
2. audioldm_48k：该 checkpoint 可以生成高保真音效和音乐。
3. audioldm_16k_crossattn_t5 ： AudioLDM 1.0的改进版本。
4. audioldm2-full-large-1150k：audioldm2-full 的更大版本。
5. audioldm2-music-665k：音乐生成。
6. audioldm2-speech-gigaspeech（TTS 的默认值）：文本转语音，在 GigaSpeech 数据集上进行训练。
7. audioldm2-speech-ljspeech：文本转语音，在 LJSpeech 数据集上进行训练。

目前支持 3 种设备：

• cpu
• cuda
• mps（注意，计算需要大约 20GB 的 RAM）