何恺明新工作!加入MIT的首篇论文!打破自回归图像生成瓶颈,奥赛金牌得主参与!
共 2915字,需浏览 6分钟
·
2024-06-26 10:05
点击上方“小白学视觉”,选择加"星标"或“置顶”
重磅干货,第一时间送达 ![]()
极市导读
巧妙地借鉴了扩散模型的思想,成功地将自回归模型从矢量量化的束缚中解放出来,实现了连续值生成图像的突破。
近日,深度学习领域的杰出研究者何恺明及其团队又放了个大招,推出其团队最新研究工作,在AI研究领域引起了广泛关注。
何恺明2024年加入麻省理工学院(MIT),在电气工程与计算机科学系担任教职。
何恺明团队联合Google DeepMind和清华大学,首次提出了一种无需矢量量化的自回归图像生成方法,彻底颠覆了人们对自回归生成技术的认知。
在传统的自回归图像生成中,矢量量化一直是不可或缺的一环。然而,这种方法的局限性在于,它依赖于离散的tokenizer,这在一定程度上限制了生成图像的灵活性和多样性。
而今,何恺明团队巧妙地借鉴了扩散模型的思想,成功地将自回归模型从矢量量化的束缚中解放出来,实现了连续值生成图像的突破。
一起看看这一创新是如何提高自回归图像生成的质量和多样性的,以及是如何改变AI领域的未来走向!
论文题目:
Autoregressive Image Generation without Vector Quantization
论文链接:
https://arxiv.org/abs/2406.11838
扩散损失引入自回归图像生成
自回归模型在自然语言处理中非常成功,人们普遍认为它们需要离散表示。因此,在将自回归模型应用于图像生成等连续值领域时,研究主要集中在如何将图像数据离散化,而不是直接在连续空间上建模。
但自回归的本质在于基于前面的token作为输入来预测序列中的下一个token,不禁疑惑:难道连续的token值就不能实现上述过程了吗?
何凯明团队将扩散过程中的损失函数引入到自回归图像生成过程,引入了扩散损失(Diffusion Loss)。
自回归模型学习不同token间的关联性,而扩散过程通过损失函数学习单个token的概率分布。具体来讲,自回归模型会根据前面的token预测一个向量z作为小型去噪网络(如MLP)的条件,通过损失函数不断学习连续值x的潜在分布 并从中采样。
统一自回归和掩码生成模型的创新框架
何恺明团队还提出了一种统一标准自回归模型(AR)和掩码生成模型(MG)的广义自回归框架,具体表现为掩码自回归(MAR)模型。该模型利用双向注意力机制,在随机顺序下同时预测多个输出标记,同时保持自回归的特性。这一方法显著提高了生成速度。
传统的因果注意力机制,它通过限制每个标记只关注之前的标记来实现自回归。而双向注意力机制,它允许每个标记在序列中看到所有其他标记。掩码标记在中间层添加了位置嵌入,这种设置只在未知标记上计算损失,但允许序列中的标记之间进行全面的交流,从而在推理时能够逐个生成标记。同时,它还允许我们同时预测多个标记。
自回归+扩散 vs 自回归 vs 扩散
作为自回归模型和扩散模型的融合,其方法极具有创新性,那与传统自回归生成和扩散生成相比,性能如何呢?
生成快且效果精
相比于传统的自回归(AR)模型和扩散Transformer(DiT)模型,MAR模型在使用扩散损失后,能够更快速且更准确地生成图像。具体来说,MAR模型的生成速度小于0.3秒每张图像,且在ImageNet 256×256数据集上的FID得分小于2.0,体现了其高效性和高质量。
与领先模型相较毫不逊色
不同模型规模下,经过800个周期的训练,此方案展示了良好的扩展性。与当前的领先模型相比,此方法也毫不逊色。在不使用CFG的情况下,MAR模型的FID为2.35,显著优于其他基于标记的方法。最佳条目的FID为1.55,与领先模型相比具有竞争力。
总结
何恺明团队在图像生成领域的强有力结果表明,自回归模型或其拓展版本不仅仅是语言建模的有力工具,它们在其他领域也有很大的潜力。这些模型不必受限于向量量化表示,这意味着它们可以更有效地处理连续值表示的数据。
下载1:OpenCV-Contrib扩展模块中文版教程
在「小白学视觉」公众号后台回复:扩展模块中文教程,即可下载全网第一份OpenCV扩展模块教程中文版,涵盖扩展模块安装、SFM算法、立体视觉、目标跟踪、生物视觉、超分辨率处理等二十多章内容。
下载2:Python视觉实战项目52讲 在「小白学视觉」公众号后台回复:Python视觉实战项目,即可下载包括图像分割、口罩检测、车道线检测、车辆计数、添加眼线、车牌识别、字符识别、情绪检测、文本内容提取、面部识别等31个视觉实战项目,助力快速学校计算机视觉。
下载3:OpenCV实战项目20讲 在「小白学视觉」公众号后台回复:OpenCV实战项目20讲,即可下载含有20个基于OpenCV实现20个实战项目,实现OpenCV学习进阶。
交流群
欢迎加入公众号读者群一起和同行交流,目前有SLAM、三维视觉、传感器、自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群(以后会逐渐细分),请扫描下面微信号加群,备注:”昵称+学校/公司+研究方向“,例如:”张三 + 上海交大 + 视觉SLAM“。请按照格式备注,否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告,否则会请出群,谢谢理解~