SD必备知识系列二:InstantID面部特征一致性风格保持与迁移,轻松搞定私人写真摄影,SDWebUI使用指南
在交流群众偶有同学问到关于风格迁移IPAInstant ID等安装和使用方法,内容虽基础但也属常用工具。故想有这个系列文章以记录。这是继上期SD必备知识系列一:IPAdapterFaceID面部特征一致性保持与迁移,轻松搞定私人写真摄影,SDWebUI使用指南之后SD必备知识第二篇,本文将核心介绍Instant ID使用和墨幽人造人XL体验(这是一款可出图商用的写实摄影模型)。Instant ID
-
Instant ID简介
-
在交流群众偶有同学问到关于风格迁移
IPA
、Instant ID
等安装和使用方法,内容虽基础但也属常用工具。故想有这个系列文章以记录。这是继上期SD必备知识系列一:IPAdapterFaceID面部特征一致性保持与迁移,轻松搞定私人写真摄影,SDWebUI使用指南之后SD必备知识第二篇,本文将核心介绍Instant ID使用和墨幽人造人XL体验(这是一款可出图商用的写实摄影模型)。 -
Instant ID
是一个创新的无需调整的风格保持和迁移方法,能够结合了ControlNet
和IP-Adapter
来控制扩散过程中的面部特征的风格迁移。Instant ID
的一个独特设计在于将IP-Adapter
中投影的面部嵌入作为交叉注意力输入传递给 ControlNet unet,而非使用常规方法:ControlNet unet的交叉注意力输入是提示的文本嵌入。如下图所示: -
项目主页:https://instantid.github.io/
-
Instant ID插件安装
-
Instant ID安装需要升级对应的sd-webui-controlnet插件,对应版本不低于v1.1.438。
-
模型下载
-
然后下载对应模型,并将其放置在
stable-diffusion-webui/models/ControlNet
目录下。同时需要将模型重命名为 ip-adapter_instant_id_sdxl.bin 和 control_instant_id_sdxl.safetensors,以便插件能够正确识别这两个模型(模型已经放置文末口令获取)。 -
- • IP-Adapter模型:https://huggingface.co/InstantX/InstantID/resolve/main/ip-adapter.bin?download=true
- • ControlNet 模型:https://huggingface.co/InstantX/InstantID/resolve/main/ControlNetModel/diffusion_pytorch_model.safetensors?download=true
-
Instant ID使用
-
在SD-WebUI 中使用InstantID插件需要设置两个模型。并且,需要牢记:应该始终将 ipadapter 模型始终设置为第一个模型,因为 ControlNet 模型需要接收 ipadapter 模型的输出作为后续输入。
-
Unit 0 设置
-
在 ControlNet 单元之前,必须设置 ip-adapter单元。IP-Adapter 单元输出的面部嵌入将作为下一个 ControlNet 单元的输入之一。
-
Unit 1 设置
-
ControlNet 单元接受包含面部5个关键点的关键点图,因此需要在Unit 1中使用keypoints选项。在这里可以使用与Unit 0中相同的人物的面部关键点,也可以不使用同一张面部图像作为输入。
-
另外,在官方文档中建议:将 CFG 设置为 4~5 以获得最佳结果。同时也提到,根据采样方法和基础模型这个数字可能会有所不同,但通常需要使用的 CFG 比例略低于正常的 CFG。同时还提到,如果将宽度x高度设置为1024*1024,那么生成水印、徽标的几率更高。这不能通过在负面提示中添加徽标水印关键词来纠正。可以通过设置其他宽度 x 高度值来避免这个问题。
-
Instant ID 体验
-
本小节中使用绘图配置为:
-
- • 绘图模型:墨幽人造人XL
- • 迭代步数:30
- • CFG:5
- • 分辨率:888*1280
-
本文使用到模型下载地址(AIGC绘图问题可文末加群交流):
-
- • 真实摄影模型 - 墨幽人造人XL:https://www.liblib.art/modelinfo/e6c19f54cd164687a7384548742ad20b
- • 动漫模型 - Dream Anime XL | 筑梦动漫XL模型:https://www.liblib.art/modelinfo/7d1e1851c72448e586b0d7fb29c51e53
- • 筑梦工业 | 港风胶片XL LoRA模型:https://www.liblib.art/modelinfo/985918864a4c46de8e2c5bb984ee0ab1
- • add-detail-xl LoRA模型:https://www.liblib.art/modelinfo/1f290178083844fb9a22e6e76d8546fa
- • DetailedEyes_XL LoRA模型:https://www.liblib.art/modelinfo/68ece914e617433fa62410a8496edc53
-
01. 蓝色写真
-
绘图模型:**墨幽人造人XL模型****
-
woman,moyou, solo, on side, dress, lying, black hair, blue dress, snow, blue eyes, blue theme, looking at viewer, bare shoulders, lips, hair ornament, bare arms, A Beautiful Chinese Woman, <lora:DetailedEyes_XL_v3.0:1>, <lora:add-detail-xl:1>,
-
02. 光影写真
-
绘图模型:**墨幽人造人XL模型****
-
chinese women,tan lines,deep photo,depth of field,Superia 400,shadows,messy hair,perfect face and body,dark,nighttime,dark photo,grainy,seductive smirk,((eyes closed)),, <lora:DetailedEyes_XL_v3.0:1>, <lora:add-detail-xl:1>,
-
03. 水中写真
-
绘图模型:**墨幽人造人XL模型****
-
(masterpiece,best quality, ultra realistic,32k,RAW photo,detail skin, 8k uhd, dslr,high quality, film grain:1.5),close up portrait of a cute woman bathing in a river,(backlighting),lens flare,shade,bloom,[[chromatic aberration]],by Jeremy Lipking,by Antonio J. Manzanedo,digital painting,, <lora:DetailedEyes_XL_v3.0:1>, <lora:add-detail-xl:1>, <lora:HK film style XL:1>
-
04. 动漫香港风
-
绘图模型:*Dream Anime XL | 筑梦动漫XL模型*
-
HK film style, close-up shot back view of an attractive woman wearing pink dress standing in front of a neon sign, neon orange lighting, in the style of Wong Kar Wai film, award-winning picture, highly detailed, ultra-high resolutions, 32K UHD, best quality, masterpiece, <lora:DetailedEyes_XL_v3.0:1>, <lora:add-detail-xl:1>, <lora:HK film style XL:1>
-
05. 霓虹动漫
-
绘图模型:*Dream Anime XL | 筑梦动漫XL模型*
-
HK film style,close-up shot side view of an attractive woman with glasses wearing black knitted crewneck leaning against the wall standing in front of a neon sign,neon red lighting,in the style of Wong Kar Wai film,award-winning picture,highly detailed,ultra-high resolutions,32K UHD,best quality,masterpiece,, <lora:DetailedEyes_XL_v3.0:1>, <lora:add-detail-xl:1>, <lora:HK film style XL:1>
-
06. 香港风动漫-酒吧
-
绘图模型:*Dream Anime XL | 筑梦动漫XL模型*
-
HK film style, an attractive woman wearing fashion outfit sitting at a table inside a bar, her head leaning against her arm, gradient red-orange and blue neon lighting, dark environment, in the style of Wong Kar Wai film, award-winning picture, highly detailed, ultra-high resolutions, 32K UHD, best quality, masterpiece, <lora:ip-adapter-faceid-plusv2_sdxl_lora:0.8>, <lora:DetailedEyes_XL_v3.0:1>, <lora:add-detail-xl:1>, <lora:HK film style XL:1>
关于AI绘画技术储备
学好 AI绘画 不论是就业还是做副业赚钱都不错,但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料,给那些想学习 AI绘画 的小伙伴们一点帮助!
对于0基础小白入门:
如果你是零基础小白,想快速入门AI绘画是可以考虑的。
一方面是学习时间相对较短,学习内容更全面更集中。
二方面是可以找到适合自己的学习方案
包括:stable diffusion安装包、stable diffusion0基础入门全套PDF,视频学习教程。带你从零基础系统性的学好AI绘画!
需要的可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
1.stable diffusion安装包 (全套教程文末领取哈)
随着技术的迭代,目前 Stable Diffusion 已经能够生成非常艺术化的图片了,完全有赶超人类的架势,已经有不少工作被这类服务替代,比如制作一个 logo 图片,画一张虚拟老婆照片,画质堪比相机。
最新 Stable Diffusion 除了有win多个版本,就算说底端的显卡也能玩了哦!此外还带来了Mac版本,仅支持macOS 12.3或更高版本。
2.stable diffusion视频合集
我们在学习的时候,往往书籍源码难以理解,阅读困难,这时候视频教程教程是就很适合了,生动形象加上案例实战,一步步带你入坑stable diffusion,科学有趣才能更方便的学习下去。
3.stable diffusion模型下载
stable diffusion往往一开始使用时图片等无法达到理想的生成效果,这时则需要通过使用大量训练数据,调整模型的超参数(如学习率、训练轮数、模型大小等),可以使得模型更好地适应数据集,并生成更加真实、准确、高质量的图像。
4.stable diffusion提示词
提示词是构建由文本到图像模型解释和理解的单词的过程。可以把它理解为你告诉 AI 模型要画什么而需要说的语言,整个SD学习过程中都离不开这本提示词手册。
5.AIGC视频教程合集
观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
实战案例
纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
这份完整版的学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
开放原子开发者工作坊旨在鼓励更多人参与开源活动,与志同道合的开发者们相互交流开发经验、分享开发心得、获取前沿技术趋势。工作坊有多种形式的开发者活动,如meetup、训练营等,主打技术交流,干货满满,真诚地邀请各位开发者共同参与!
更多推荐
所有评论(0)