OpenAI发布DALL-E 2，文字生成图像工具新的“天花板”？

共 2144字，需浏览 5分钟

· 2022-04-11

大数据文摘转载自数据实战派

DALL-E 2输出的“泰迪熊像一个蒸汽朋克时代的疯狂科学家一样混合闪闪发光的化学物质”的结果

DALL-E的问世曾让人们惊艳于AI根据一段话直接生成图像的能力，如今一年过去，OpenAI开发了一个新版本的DALL-E，效果较之前又更好了。

如下图所示，DALL-E 2实现了更高分辨率和更低延迟，而且还包括了新的功能，如编辑现有图像。

与之前的OpenAI工作一样，新工具没有直接向公众发布。但研究人员可以在线注册预览该系统，OpenAI希望以后能将其用于第三方应用。

从穿着法兰绒衬衫的人体描绘到“乌龟长颈鹿”、萝卜遛狗等匪夷所思的画面，2021年DALL-E的text to image生成效果，让人们一窥多模态的潜力，也带动着多模态图像合成与编辑方向的大火，前有 DALL-E、GauGAN2，后有统一的多模态预训练模型“女娲”。这些连接文本和视觉领域的技术创新使我们更接近实现多模态AI系统。

DALL-E 刚刚对外宣布的时候，OpenAI表示将继续在该系统的基础上进行开发，同时检查图像生成中的偏见或错误信息的产生等潜在危险。

OpenAI试图通过技术保障措施和新的内容政策来解决这些问题，同时还降低了计算负载，推进了模型的基本功能。

DALL-E 2 生成的“柴犬戴着贝雷帽穿着黑色高领毛衣”图像

DALL-E 2的一个值得关注的新功能是编辑，用户可以从现有图片开始，选择一个区域，然后告诉模型对其进行编辑。

编辑功能的演示，DALL-E 2在一个现有图片的房间角落加一个火烈鸟摆设。

例如，你可以在客厅的墙上画一幅画，然后换成另一幅画，或者在咖啡桌上放一瓶花。模型可以填充（或移除）对象，同时考虑房间中阴影的方向等细节。

变体功能的演示

DALL-E 2还有一个功能是变体（variations），用户可以上传一张起始图片，然后创建一系列类似的变体，还可以混合两个图像，生成具有这两种元素的图像。

DALL-E 2基于CLIP，一个由OpenAI去年发布的计算机视觉系统。OpenAI推出的两个连接文本与图像的神经网络DALL-E 和 CLIP中，DALL-E 可以基于文本直接生成图像，而CLIP 则能够完成图像与文本类别的匹配。

CLIP embeddings 具有许多理想的特性：对图像分布变化具有鲁棒性，并且已经过微调以在各种视觉和语言任务上实现最先进的结果。同时，diffusion models已经成为一种有前途的生成建模框架，推动了图像和视频生成任务的最新技术。在这项工作中，OpenAI团队结合这两种方法来解决文本条件图像生成问题。

OpenAI研究科学家Prafulla Dhariwal表示：“DALL-E 1刚刚从语言中采用了GPT-3方法，并将其应用于生成图像：我们将图像压缩成一系列单词，然后才学会预测接下来会发生什么”。

但是单词匹配并不一定能捕捉到重点，而且预测过程限制了图像的真实性。

CLIP的设计目的，是以人类的方式查看图像并总结其内容，而OpenAI在这个过程中迭代创建了“unCLIP”——一个以描述开始并朝着图像生成目标运行的版本。

DALL-E2使用一种 diffusion model 生成图像，Dhariwal将其描述为从“一袋点状物”开始，然后以越来越大的细节填充图案。

有趣的是，一份关于unCLIP的研究表示，它部分地躲开了CLIP一个非常有趣的缺点：人们可以通过在一个对象（比如史密斯奶奶的苹果）上标记一个表示其他东西（比如iPod）的单词，来愚弄模型的识别能力。

作者表示，即使使用了一张贴错标签的图片，CLIP也无法识别ta是史密斯奶奶，变体工具“仍然很有可能生成苹果的图片。

DALL-E的完整模型从未公开发布，但在过去一年中，其他开发人员已经开发了一些具有相似功能的工具。

其中一个受欢迎的主流应用是Wombo的Dream移动应用，用户以各种艺术风格描述的任何东西的图片，它都可以生成。

虽然OpenAI今天没有发布任何新模型，但开发者可以利用其技术发现来更新自己的工作。