IP-Adapter:让Stable Diffusion支持图像提示词!可适配ControlNet!
点蓝色字关注 “机器学习算法工程师 ”
设为 星标 ,干货直达!
近日,腾讯发布了一个新的Stable Diffusion适配器:IP-Adapter,它可以让Stable Diffusion支持图像提示词,而且适配任何基底模型以及ControlNet。同时,IP-Adapter还可以同时使用图像提示词和文本提示词。
目前模型代码均已经开源: 论文:https://arxiv.org/abs/2308.06721 项目主页 :https://ip-adapter.github.io/ 代码 :https://github.com/tencent-ailab/IP-Adapter IP-Adapter可以适配Stable Diffusion的任何基底模型:
还可以和ControlNet或者T2I-Adapter结合在一起实现结构控制:

相比之前的方式也有明显的改善:

而且IP-Adapter也可以用于图生图以及图像inpainting:

更重要的是还可以同时使用图像提示词和文本提示词:

而且相比之前的方法也好不少:

推荐阅读
使用PyTorch 2.0加速Transformer:训练推理均拿下!
机器学习算法工程师
一个用心的公众号

评论
