• Instant ID简介

  • 在交流群众偶有同学问到关于风格迁移IPAInstant ID等安装和使用方法,内容虽基础但也属常用工具。故想有这个系列文章以记录。这是继上期SD必备知识系列一:IPAdapterFaceID面部特征一致性保持与迁移,轻松搞定私人写真摄影,SDWebUI使用指南之后SD必备知识第二篇,本文将核心介绍Instant ID使用和墨幽人造人XL体验(这是一款可出图商用的写实摄影模型)。图片

  • Instant ID 是一个创新的无需调整的风格保持和迁移方法,能够结合了 ControlNetIP-Adapter 来控制扩散过程中的面部特征的风格迁移。Instant ID 的一个独特设计在于将IP-Adapter中投影的面部嵌入作为交叉注意力输入传递给 ControlNet unet,而非使用常规方法:ControlNet unet的交叉注意力输入是提示的文本嵌入。如下图所示:图片

  • 项目主页:https://instantid.github.io/

  • Instant ID插件安装

  • Instant ID安装需要升级对应的sd-webui-controlnet插件,对应版本不低于v1.1.438

  • 图片

  • 模型下载

  • 然后下载对应模型,并将其放置在 stable-diffusion-webui/models/ControlNet 目录下。同时需要将模型重命名为 ip-adapter_instant_id_sdxl.bincontrol_instant_id_sdxl.safetensors,以便插件能够正确识别这两个模型(模型已经放置文末口令获取)。

    • IP-Adapter模型:https://huggingface.co/InstantX/InstantID/resolve/main/ip-adapter.bin?download=true
    • ControlNet 模型:https://huggingface.co/InstantX/InstantID/resolve/main/ControlNetModel/diffusion_pytorch_model.safetensors?download=true
  • Instant ID使用

  • 在SD-WebUI 中使用InstantID插件需要设置两个模型。并且,需要牢记:应该始终将 ipadapter 模型始终设置为第一个模型,因为 ControlNet 模型需要接收 ipadapter 模型的输出作为后续输入。

  • Unit 0 设置
  • ControlNet 单元之前,必须设置 ip-adapter单元IP-Adapter 单元输出的面部嵌入将作为下一个 ControlNet 单元的输入之一。

  • 图片

  • Unit 1 设置
  • ControlNet 单元接受包含面部5个关键点的关键点图,因此需要在Unit 1中使用keypoints选项。在这里可以使用与Unit 0中相同的人物的面部关键点,也可以不使用同一张面部图像作为输入。

  • 图片

  • 另外,在官方文档中建议:将 CFG 设置为 4~5 以获得最佳结果。同时也提到,根据采样方法和基础模型这个数字可能会有所不同,但通常需要使用的 CFG 比例略低于正常的 CFG。同时还提到,如果将宽度x高度设置为1024*1024,那么生成水印、徽标的几率更高。这不能通过在负面提示中添加徽标水印关键词来纠正。可以通过设置其他宽度 x 高度值来避免这个问题。

  • Instant ID 体验

  • 本小节中使用绘图配置为:

    • • 绘图模型:墨幽人造人XL
    • • 迭代步数:30
    • • CFG:5
    • • 分辨率:888*1280
  • 本文使用到模型下载地址(AIGC绘图问题可文末加群交流):

    • • 真实摄影模型 - 墨幽人造人XL:https://www.liblib.art/modelinfo/e6c19f54cd164687a7384548742ad20b
    • • 动漫模型 - Dream Anime XL | 筑梦动漫XL模型:https://www.liblib.art/modelinfo/7d1e1851c72448e586b0d7fb29c51e53
    • 筑梦工业 | 港风胶片XL LoRA模型:https://www.liblib.art/modelinfo/985918864a4c46de8e2c5bb984ee0ab1
    • add-detail-xl LoRA模型:https://www.liblib.art/modelinfo/1f290178083844fb9a22e6e76d8546fa
    • DetailedEyes_XL LoRA模型:https://www.liblib.art/modelinfo/68ece914e617433fa62410a8496edc53
  • 01. 蓝色写真

  • 绘图模型:**墨幽人造人XL模型****

  • woman,moyou, solo, on side, dress, lying, black hair, blue dress, snow, blue eyes, blue theme, looking at viewer, bare shoulders, lips, hair ornament, bare arms, A Beautiful Chinese Woman, <lora:DetailedEyes_XL_v3.0:1>, <lora:add-detail-xl:1>,
    
  • 图片

  • 02. 光影写真

  • 绘图模型:**墨幽人造人XL模型****

  • chinese women,tan lines,deep photo,depth of field,Superia 400,shadows,messy hair,perfect face and body,dark,nighttime,dark photo,grainy,seductive smirk,((eyes closed)),, <lora:DetailedEyes_XL_v3.0:1>, <lora:add-detail-xl:1>,
    
  • 图片

  • 03. 水中写真

  • 绘图模型:**墨幽人造人XL模型****

  • (masterpiece,best quality, ultra realistic,32k,RAW photo,detail skin, 8k uhd, dslr,high quality, film grain:1.5),close up portrait of a cute woman bathing in a river,(backlighting),lens flare,shade,bloom,[[chromatic aberration]],by Jeremy Lipking,by Antonio J. Manzanedo,digital painting,, <lora:DetailedEyes_XL_v3.0:1>, <lora:add-detail-xl:1>, <lora:HK film style XL:1>
    
  • 图片

  • 04. 动漫香港风

  • 绘图模型:*Dream Anime XL | 筑梦动漫XL模型*

  • HK film style, close-up shot back view of an attractive woman wearing pink dress standing in front of a neon sign, neon orange lighting, in the style of Wong Kar Wai film, award-winning picture, highly detailed, ultra-high resolutions, 32K UHD, best quality, masterpiece, <lora:DetailedEyes_XL_v3.0:1>, <lora:add-detail-xl:1>, <lora:HK film style XL:1>
    
  • 图片

  • 05. 霓虹动漫

  • 绘图模型:*Dream Anime XL | 筑梦动漫XL模型*

  • HK film style,close-up shot side view of an attractive woman with glasses wearing black knitted crewneck leaning against the wall standing in front of a neon sign,neon red lighting,in the style of Wong Kar Wai film,award-winning picture,highly detailed,ultra-high resolutions,32K UHD,best quality,masterpiece,, <lora:DetailedEyes_XL_v3.0:1>, <lora:add-detail-xl:1>, <lora:HK film style XL:1>
    
  • 图片

  • 06. 香港风动漫-酒吧

  • 绘图模型:*Dream Anime XL | 筑梦动漫XL模型*

  • HK film style, an attractive woman wearing fashion outfit sitting at a table inside a bar, her head leaning against her arm, gradient red-orange and blue neon lighting, dark environment, in the style of Wong Kar Wai film, award-winning picture, highly detailed, ultra-high resolutions, 32K UHD, best quality, masterpiece,  <lora:ip-adapter-faceid-plusv2_sdxl_lora:0.8>, <lora:DetailedEyes_XL_v3.0:1>, <lora:add-detail-xl:1>, <lora:HK film style XL:1>
    
  • 图片

关于AI绘画技术储备

学好 AI绘画 不论是就业还是做副业赚钱都不错,但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料,给那些想学习 AI绘画 的小伙伴们一点帮助!

对于0基础小白入门:

如果你是零基础小白,想快速入门AI绘画是可以考虑的。

一方面是学习时间相对较短,学习内容更全面更集中。
二方面是可以找到适合自己的学习方案

包括:stable diffusion安装包、stable diffusion0基础入门全套PDF,视频学习教程。带你从零基础系统性的学好AI绘画!

需要的可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

1.stable diffusion安装包 (全套教程文末领取哈)

随着技术的迭代,目前 Stable Diffusion 已经能够生成非常艺术化的图片了,完全有赶超人类的架势,已经有不少工作被这类服务替代,比如制作一个 logo 图片,画一张虚拟老婆照片,画质堪比相机。

最新 Stable Diffusion 除了有win多个版本,就算说底端的显卡也能玩了哦!此外还带来了Mac版本,仅支持macOS 12.3或更高版本

在这里插入图片描述

2.stable diffusion视频合集

我们在学习的时候,往往书籍源码难以理解,阅读困难,这时候视频教程教程是就很适合了,生动形象加上案例实战,一步步带你入坑stable diffusion,科学有趣才能更方便的学习下去。

在这里插入图片描述

3.stable diffusion模型下载

stable diffusion往往一开始使用时图片等无法达到理想的生成效果,这时则需要通过使用大量训练数据,调整模型的超参数(如学习率、训练轮数、模型大小等),可以使得模型更好地适应数据集,并生成更加真实、准确、高质量的图像。

在这里插入图片描述

4.stable diffusion提示词

提示词是构建由文本到图像模型解释和理解的单词的过程。可以把它理解为你告诉 AI 模型要画什么而需要说的语言,整个SD学习过程中都离不开这本提示词手册。

在这里插入图片描述

5.AIGC视频教程合集

观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

在这里插入图片描述

实战案例

纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
在这里插入图片描述
这份完整版的学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

Logo

开放原子开发者工作坊旨在鼓励更多人参与开源活动,与志同道合的开发者们相互交流开发经验、分享开发心得、获取前沿技术趋势。工作坊有多种形式的开发者活动,如meetup、训练营等,主打技术交流,干货满满,真诚地邀请各位开发者共同参与!

更多推荐