京东零售广告创意：基于人类反馈的可信赖图像生成
共 3035字，需浏览 7分钟
·
7天前
摘要：在电商领域，吸引顾客注意力的广告图片至关重要。尽管生成模型可以自动生成图像，但它们往往会产生不符合广告标准的图片，可能误导顾客，并需要大量人工成本进行检查。本文探讨了如何提高可用生成图像的比例。我们首先引入了一种多模态可信赖反馈网络（RFNet），用于自动检查生成的图像。将RFNet整合到一个循环过程——循环生成中，可以提高可用广告图像的数量。为了进一步提升生产效率，我们通过一种创新的一致性条件正则化方法，利用RFNet的反馈来微调扩散模型（RFFT）。这显著提高了生成图像的可用率，减少了循环生成中的尝试次数，并提供了一种高效的生产过程，同时不牺牲视觉效果。我们还构建了一个包含超过一百万张由人工标注的生成广告图像的可信赖反馈一百万（RF1M）数据集，这有助于训练RFNet准确评估生成图像的可用性，并真实反映人工反馈。总的来说，我们的方法为广告图像生成提供了一个可信赖的解决方案。
一、背景及现状
吸引人的广告图片对于电子商务的成功至关重要。由于手动设计图片需要大量的人工成本，因此对自动广告图像生成的需求正在上升。最近，通过结合先进的扩散模型（Stable Diffusion）和ControlNet，可以为产品生成和谐的背景，同时保持商品细节不变。
尽管生成模型有潜力创造出吸引人的背景，但我们观察到其经常会生成质量欠佳的广告图片，如下图所示，这些图片存在空间和尺寸不匹配、不显著以及形状幻觉等问题。
这些有缺陷的图片可能导致顾客对产品产生误解，进而带来不佳的购物体验，因此需要大量人工来检查生成的图像。这些缺陷限制了生成模型在广告图像生产中的广泛应用。因此，我们要解决的问题是如何建立一个可信赖的广告图像生成流程，以高可用率生成图像。
二、信赖反馈模型
一个自然的解决方案是利用生成过程中的随机性，反复生成图像直到获得可用的图像（循环生成）。为了替代人工检查，我们提出了一种新颖的信赖反馈网络（RFNet），充当人工检查员来评估生成的广告图像的可用性。由于仅依赖单一生成的图像，模型无法有效获得进行精确检查所需的关键知识，例如产品是什么以及产品如何出现在背景中。因此，RFNet整合了多种辅助模态，以提供对判断不同不可用情况至关重要的信息。RFNet的结构如下所示：
虽然循环生成大大增加了可用图像的数量，但因为生成模型本身能力有限，多次尝试会显著延长生成过程。利用人类反馈（RLHF）来增强扩散模型的能力提供了一种可行的选择，这些方法在提高生成图像的视觉质量方面已经取得显著结果。类似的，在训练完信赖反馈模型后，我们将其输出看作人类对于生成图片的评价，通过将其结果反传回生成模型来提升生成图片中可用的比例。该流程如下所示：
其中，yd为一个one-hot向量，其中合格类别的概率为1，而其他类别的概率为0。oi为生成图像输入给信赖反馈模型后得到的概率，N为一次训练中样本的总数。所得到的梯度被反传至生成模型中，来使其朝着更高概率生成合格图像的方向优化。沿用ControlNet原有的设定，只有ControlNet部分参与梯度更新，而Stable Diffusion部分是不更新参数的。
尽管通过梯度反传微调能够提升合格样本出现的概率，然而由于图像可用率和美观度是对抗的目标，这使得提升图片的可用率会导致美观度的下降。例如，直接将商品放置于空白背景中将获得极低的bad case比例，然而这种方式将严重破坏图片的美感。如下图（a）所示，随着模型达到极高的图片可用率，商品的背景区域将产生美学崩塌的结果。
为了实现提升图片的可用比例并保持图片的美观，简单的方式是训练中加入KL损失约束，该损失可以保证模型的分布不偏离目标分布。利用该约束，可以使得模型在微调后的输出分布和微调前近似，从而达到不影响美观的结果。该过程可写作：
KL损失约束的目的是为了保持图像不变，而F_AC是希望图像朝着可用率更高的方向改变，这样的对抗的目标难以产生双赢的结局。为了解决该问题，我们将重点从保持图像本身不变，迁移至输入文本条件的指导不变。由于在文生图模型中，文本内容和图像内容是高度相关的，因此我们提出了一种条件一致约束来保证文本条件不变。根据classifier-free的训练方法，可以推导出文本条件对图像生成过程的影响方向为：
扫一扫，加入技术交流群