【绘画模型分享】InstantID:身份属性超强迁移 详细的原理不多说了,感兴趣的可以去看看,说点

【绘画模型分享】InstantID:身份属性超强迁移

详细的原理不多说了,感兴趣的可以去看看,说点想法和感受。

之前一直用SD和DALLE、MJ等各种绘画软件,但是,如Stable Diffusion等模型进行个性化图像生成时,常常需要依赖多个插件(例如LoRA和其他风格插件)来维持人物的身份特征,这一过程既复杂又耗时。

而InstantID提供了一个更为简便和高效的解决方案,能够在不牺牲图像质量的前提下,直接生成保持个人特征的高质量图像。

那未来可能如何提供价值,下面是一些可能性,InstantID的集成方式可能包括作为插件加入到Stable Diffusion等现有模型中,或作为一个独立的模型提供服务。

比如,它可以轻松地融入多种应用场景,如数字化试衣。在这些场景中,现有的痛点包括无法准确再现试穿者的身份特征和外观,导致试穿效果与现实差异较大(可以提体验一下淘宝的虚拟穿衣。入口很深在淘宝APP-我的-穿衣)。再比如,个性化教育和培训,试想李白讲诗歌(因为角色的超强控制,可以输出此角色的各种场景)InstantID的应用可以有效解决这些问题,为用户提供更真实、更个性化的试穿体验,从而提升用户满意度和购物效率。

报告中超级喜欢的一个功能,给我带来了无限想象,它支持将身份属性添加到非人类角色中。比如让它输出,拥有一个鸣人脸的拉面精(哈哈哈,产品还在实验阶段,但是迫不及待的要想使用了。)

——————————
基本介绍:
InstantID 介绍:
与传统方法需要多张参考图像和复杂的微调过程不同,InstantID只需一张图像,而且无需复杂的训练或微调过程(不过在项目中有多张图像对训练结果的影响,看上去更多的图像人的特征更强)。模型支持高保真度的身份保留生成,任何风格仅使用单个参考图像。他们设计了一个新颖的 IdentityNet,通过强加语义和弱空间条件,将面部和地标图像与文本提示相结合来引导图像生成。
主要的功能:
图1:让你的脸变成任何风格,支持风格化和现实风格
图2:可编辑性和多重参考,第 1 列显示仅图像结果,其中在推理过程中提示设置为空。第 2-4 列通过文本提示显示可编辑性。第 5-9 列显示了与现有 ControlNet 的兼容性(canny 和深度)
图3:多张图像对生成的影响,对于多个参考图像,我们取 ID 嵌入的平均平均值作为图像提示。
图4:竞品比较;与 IP-Adapter (IPA)、IP-Adapter-FaceID 和最新的 PhotoMaker 进行比较;PhotoMaker需要训练UNet的LoRA参数;PhotoMaker和IP-Adapter-FaceID都实现了良好的保真度,但文本控制能力有明显的退化。相比之下,InstantID 实现了更好的保真度并保留了良好的文本可编辑性(面孔和样式更好地融合)。
图5:InstantID 支持将身份属性添加到非人类角色中(这个太喜欢了)
项目及演示:链接
论文:链接
GitHub:链接

AI风向标 【绘画模型分享】InstantID:身份属性超强迁移
详细的原理不多说了,感兴趣的可以去看看,说点【绘画模型分享】InstantID:身份属性超强迁移
详细的原理不多说了,感兴趣的可以去看看,说点【绘画模型分享】InstantID:身份属性超强迁移
详细的原理不多说了,感兴趣的可以去看看,说点【绘画模型分享】InstantID:身份属性超强迁移
详细的原理不多说了,感兴趣的可以去看看,说点【绘画模型分享】InstantID:身份属性超强迁移
详细的原理不多说了,感兴趣的可以去看看,说点

给TA打赏
共{{data.count}}人
人已打赏
Ai破局

航行第六天,周末不知道大家有没有在继续学习航海手册呀?没有的小伙伴抓紧时间学起来,来看看还在卷的伙伴

2024-4-9 23:14:57

Ai破局

GPTs 实战:"记忆图卡" 小游戏 嘿,大家好呀,我是景淮,一个加拿大的程序员,沉迷 AI 不能

2024-4-9 23:15:04

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索