小红书开源「InstantID」效果炸裂,被Yann LeCun点赞,迅速蹿上...-技术圈

本文经机器之心（微信公众号：almosthuman2014）授权转载，禁止二次转载

机器之心编辑部

只需一张照片，整个过程无需训练 LoRA 模型，多风格 AI 写真即刻呈现！

最近，有一群来自小红书的 95 后神秘团队，自称 InstantX，搞了个大动作 —— 开源「InstantID」项目。 InstantID 凭借着高质量的图像生成能力，在开源界掀起了一股热潮：不仅获得了众多技术大佬的点赞，更是在 GitHub 热榜上迅速飙升，成为焦点。这个「出片神器」，让用户只需上传一张照片，就能轻松定制出多种风格的 AI 写真。

对，你没看错。如图左侧所示，与之前爆火的妙鸭相机至少需要上传 20 张照片不同的是，InstantID 只需一张自拍，不依赖模型训练，不需要等待，瞬间变身。无论是古典油画的优雅，炫酷的赛博朋克，或是 3D 雕像的立体感，只要是你喜欢的风格，InstantID 都能轻松驾驭。它不仅风格多样，还能在保持人物面部高保真的同时，无需模型训练，实现秒级出图，效率大幅提升。 InstantID 目前位列 Hugging Face Space Trending 榜首，许多小伙伴玩得不亦乐乎～比如，把马斯克送上了火星。

让蒙娜丽莎拍「樱花写真」，微笑依旧很神秘。

甚至可以让语文课本中的杜甫从二维变三维，穿越到现代变身「帅大叔」。

图灵奖得主 Yann LeCun，化身多种动漫人物，你猜出了几个角色？

就连 Yann LeCun 本人也点赞转发，调侃自己的「钢铁侠」衣服在哪里。

在个性化图像合成领域，实现强烈风格化写真的同时保持面部高保真度，一直是个挑战。从效果上看，InstantID 做到了。那它背后运用了哪些方法，有什么独到之处吗？

回顾过去，尽管 Textual Inversion、 DreamBooth 和 LoRAs 等技术已经取得了重大进展。但它们在实际应用中仍受限于高存储需求、耗时的微调过程以及对多张参考图像的依赖。相比之下，现有基于 ID 嵌入的方法虽然只需一次前向推理，但也面临不小挑战：要么需要对大量模型参数进行广泛的微调，要么与社区预训练模型不兼容，要么无法保持高真实性。 InstantID 的出现，打破了这些局限。小红书 InstantX 团队公开了论文《 InstantID: Zero-shot Identity-Preserving Generation in Seconds 》和推理代码，他们表示：InstantID 巧妙地避免了对文生图模型 UNet 部分的训练，仅通过训练一个轻量级的可插拔模块，实现了在推理过程中无需 test-time tuning，同时保持了文本控制的灵活性，确保了面部特征的高保真度。

如图所示，InstantID 的工作原理可分为三个关键部分：

ID Embedding：团队利用预训练的面部识别模型代替 CLIP 来提取语义人脸特征，并使用可训练的投影层，将这些特征映射到文本特征空间，形成 Face Embedding，具有丰富的语义信息，包括如面部特征、表情、年龄等，为后续的图像生成提供了坚实的基础。
Image Adapter：引入一个轻量级的适配模块，将提取的身份信息与文本提示结合起来。这个模块通过解耦的交叉注意力机制，使得图像和文本能够独立地影响生成过程，从而在保持身份信息的同时，允许用户对图像风格进行精细控制，实现「双赢」。
IdentityNet：小红书提出了一个名为 IdentityNet 的网络，是 InstantID 的核心部分。它通过强语义条件（如面部特征的详细描述）和弱空间条件（如面部关键点的位置）来编码参考面部图像的复杂特征。在 IdentityNet 中，生成过程完全由 Face Embedding 引导，无需任何文本信息。仅更新新添加的模块，而预先训练的文本到图像模型保持冻结以确保灵活性。

在实际的图像生成过程中，InstantID 首先会接收到用户的文本提示和面部图像。然后通过 ID Embedding 提取关键信息，接着 Image Adapter 将这些信息与文本提示融合。IdentityNet 会根据这些融合后的信息生成图像。整个过程是自动化的，用户不需要进行任何额外的微调或训练，只需等待二十几秒，就能得到一个既符合文本描述又保留个人身份特征的定制图像。

InstantID 不仅解决了训练效率与身份保真度之间的平衡问题，还提供了一系列令人印象深刻的特性。首先，InstantID 的即插即用和兼容性是其最大的卖点之一。它无需对 UNet 进行额外训练，即可与现有的预训练模型无缝集成，如社区内的文生图基础模型、LoRAs 和 ControlNets。这意味着用户可以在不增加成本的情况下，轻松地在推理过程中保持人物的身份特征，裂变性强。

其次，InstantID 的无需微调特性，使得它在实际应用中极具经济性和实用性。用户只需进行一次前向传播，即可快速生成图像，同时保持对文本编辑的强大控制力，让身份信息与各种风格完美融合。如下图所示，其编辑性强的特点让用户能够通过文本控制性别、头发、服装等细节，确保生成图像的多样性。

性能方面的表现同样卓越，它能够仅凭一张参考图像，就生成具有高保真度和灵活性的先进结果。这一性能不仅超越了基于单张图片特征的嵌入方法，如 IP-Adapter-FaceID，而且在特定场景下，其效果与 ROOP、LoRAs 等方法不相上下。

对于相似度有更高要求的真人写真场景，InstantID 也能完成得不错。不仅能够在秒级时间内完成高质量的图像生成，还避免耗时的 LoRa 训练，相比妙鸭成本更低，大约是其 1/300。通过精细化控制脸部区域，InstantID 能够增强脸部相似度，同时保持整体风格的和谐。

此外，InstantID 的分区域生成方案支持多人多风格的图像生成，耗时基本无增。

它的鲁棒性和泛化性，使其能顺利处理夸张的五官比例。

多视角的生成也没问题。按你指定的姿势图和面部特征，生成新的 AI 写真。

InstantID 的可扩展性良好，能够快速支持多种衍生功能。比如快速换脸。与 Inswapper 相比，InstantID 生成的作品在面孔和背景的融合上更加灵活。

ID 信息插值。InstantID 支持两脸自定义融合，保留双方特征。

非人像与 ID 的结合，很有特点。

聊到这儿，不妨你亲自尝试一下，感受它的魅力。操作方式非常简单，进入 InstantID 的 Demo 页面，直接上传照片，便可免费体验： https://huggingface.co/spaces/InstantX/InstantID

InstantID 的这些优势，不仅为个人用户提供了强大的创作工具，也为商业应用如电子商务、广告和娱乐产业开辟了新的可能性。InstantID 本次表现令人惊喜，其高效、灵活、强大的性能和易用性，印象深刻。期待小红书该开源项目的后续进展，未来能在多个领域发挥出更大的价值。附录：

论文地址：https://arxiv.org/abs/2401.07519
InstantID 主页：https://instantid.github.io/
Demo 尝鲜：https://huggingface.co/spaces/InstantX/InstantID

---END---