Shap-E图文转 3D 模型
Shap-E 是 OpenAI 推出的一个用于 3D 资产的条件生成模型。与最近关于三维生成模型的工作不同的是,Shap-E 直接生成隐式函数的参数,这些参数可以被渲染成纹理网格和神经辐射场。
开发团队分两个阶段训练 Shap-E:首先,训练一个编码器,该编码器确定性地将 3D 资产映射到隐式函数的参数;其次,在编码器的输出上训练条件扩散模型。当在配对的 3D 和文本数据的大型数据集上进行训练时,生成的模型能够在几秒钟内生成复杂多样的 3D 资产。
与点云 (point clouds)上的显式生成模型 Point-E 相比,Shap-E 收敛速度更快,并且尽管对更高维度的模型进行建模,但仍能达到相当或更好的样本质量,多表示输出空间。
看起来像鳄梨的椅子 |
一架看起来 像香蕉的飞机 |
宇宙飞船 |
一个生日蛋糕 | 一把看起来 像树的椅子 |
一个绿色的靴子 |
一只企鹅 | 宇部冰淇淋甜筒 | 一碗蔬菜 |
更多详情可参阅 samples.md。
评论