Sora究竟有多烧钱?Sora的推理与训练的计算成本被扒出来了
大数据文摘
共 4853字,需浏览 10分钟
· 2024-04-03
作者:Zicy
从DiT到Sora
Sora可以生成1分钟的视频,如果我们假设视频以24fps编码,则一个视频有1440帧(24fps * 60s)。Sora的像素到潜在映射似乎在空间和时间上都进行了压缩。如果我们假设与DiT论文(8x)的压缩率相同,我们最终在潜在空间中得到180帧(1440/8)。
所以我们估计Sora为20B是可行的,这需要DiT的30倍计算量。
假设Sora数据集比DiT使用的数据集大10倍到100倍,但DiT在相同数据上重复训练,若有更大数据集,则此方法并非最佳。因此将计算量增加4-10倍是合理的,取中值7倍作为估算。
所以,把上面的估算结果相乘,训练Sora的总浮点数计算量约为:
这相当于14739张H100运行一个月!
以当前H100市场价约3万美元算,14739张H100约需要4.4亿美元,老黄直接狂喜。
我们需要更多的显卡
盈亏平衡
推理成本比GPT4高出几个量级
未来可期
“尽管Sora在创造看似真实的东西方面很出色,但让我们兴奋的是它能够创造出完全超现实的东西”,“来自世界各地的人们已经准备好从他们的胸膛里迸发出故事,终于有机会向世界展示里面的东西”
“很长一段时间以来,我一直在制作增强现实混合生物,我认为这些生物在我的脑海中会是有趣的组合。现在,我有了一种更简单的方法”,“不受传统物理定律或思维惯例的束缚”,与Sora合作将他的注意力从“技术障碍转移到纯粹的创造力......开启一个即时可视化和快速原型制作的世界”
评论
OpenAI Sora的关键技术点
看本文之前,如果你人云亦云的来一句: sora就是DiT架构,我表示理解。 但看完全文后你会发现 如果只允许用10个字定义sora的模型结构,则可以是:潜在扩散架构下的Video Transformer 如果允许25个字以内,则是:...
七月在线实验室
0
Sora背后的搞钱思路
就在这几天open ai的sora大火,还没有开始公测,就有小伙伴找我聊了下搞钱思路。 作为产品经理,一定要避免走一个误区,那就是:“一定要做一个软件产品才算产品”,其实给用户提供一个固定的服务也算一个产品,所以我...
Kevin改变世界的点滴
0
Sora背后的年轻队伍
就在前几天,美国人工智能研究公司OpenAI发布了人工智能文生视频大模型,可以根据用户的文本提示创建最长60秒的逼真视频。Sora在日语中是“天空”的意思,引申含义还有“自由”,象征着其无限的创造潜力。 OpenAI于2022...
程序员考拉
0