大家好,我是程序员晓晓

在上一篇中,我们学会了文生图的基础用法以及参数设置,这一篇我们继续讲解图生图。图生图就是给出一张参考图,由AI在参考图上做修改。简单来说,就是用原图和提示词进行图片二创。图生图的出现是为了弥补文生图的不足,因为文生图有个无法避免的问题,就是随机性太大,当你抽卡抽到一张你喜欢的图片,但是可能某些地方不满足需求,对于文生图而言,是很难进行修正以及修改的。

举例:

左侧是原图,右侧是修改了提示词和风格模型之后的图生图,可以看出原图与图生图之间有了区别,人物的五官,发色,风格,背景,着装都发生了变化,这就是图生图最基础的用法。


教程开始!

图生图并不是单纯的直接由图片生成图片,原始图片只是做主体参考图,打个比喻,你要做一道经典的意大利肉酱面,这是“原图”,现在,你想尝试一种新的风味,比如将传统的肉酱换成海鲜酱。你通过“提示词”或换“图像模型”告诉AI,海鲜酱里面应该有哪些食材与配料,比如可能会添加一些虾、贻贝或者鱼肉等元素,才能将原先的肉酱替换成海鲜酱。同理,图生图也是由参考图与提示词以及图像模型共同组合完成的,通过提示词去控制原本的图片进行二次创作,从而减少图片生成的随机性,更好地满足我们的需求。


功能区域

主要功能区域分三块,有一部分和文生图是一样的,上一期学过就可以复用了。

1. 提示词区域:

这块区域的用法和文生图的用法是一样的,但是为什么我要特意拿出来讲解,因为这块和文生图的使用效果会有一点不一样,这块的提示词会作用于结果图,而不是对于原图的描述,这里新同学是很容易混淆的,大多数教程正向提示词都是和原图是有关系的,会让人误解为是对于原图的解释,图生图中无论是正向还是反向提示词 都是对于结果图的引导和规范。

2. 提示词推理区域


这里我修改过WebUI的主题,所以是这两个图标,其实功能和SDWEBUI是一样的。当我们想利用原图进行操作,但是想保留某些特征,让原图和生成图保持相似度时,我们就需要进行提示词编写,此时反推区域就能帮助我们提取原图的特征提示词,例如:

  • CLIP反推

生成的提示词更像是一句话或者短语,一般是短语形式。

  • DeepBorru反推


DeepBooru 反推注重对于图片进行标签化,生成的大多数是单词,对于二次元图片的反推尤其擅长。

3. 图生图主功能区域:

3.1 图生图

默认进入的图生图区域可以选择点击上传或者拖动到上传区域,但是注意的是,图片名称不要携带中文字符或者空格之类的,当名称携带中文字符时,使用CLIP反推时会报错。使用其他图生图功能时也有可能会出现类似问题,这里再次强调一下,文件和文件夹不要使用中文字符,甚至纯数字命名,最好是使用英文命名,以避免各种奇怪的问题。(目前最新版已经修复了这个问题,使用旧版的同学要注意这点)

💡Tips:图生图的作用就是在原图上通过修改提示词或者更换模型来改变原图。

3.2 涂鸦

这里的操作是这样的,先要上传一张白色背景(单色也可以)的底图,上传完之后在底图上用画笔涂抹你想要图片的大概轮廓,就像左图,最关键的是要有相对应的提示词,这里我填写了(a tree,beachside,there is a sun,)再选择一个合适的图像模型就能生成出图片了。最近流行的LCM模型可以实现实时涂鸦出图。

💡Tips:这里着重说一下,涂抹画笔的颜色可以控制生成图片的色彩。用上图举例,绿色的画笔生成的绿色的树叶,金色的画笔,生成金色的太阳。

3.3 局部重绘

这是图生图区域的第三大功能,也是非常重要的一个功能,用画笔涂抹进行图像局部区域的重绘生成图片,这里一般可以实现换脸,去除物品细节,换服装等等。原理就是在原图贴上蒙版,用提示词告诉AI,这里我要换成什么。

左边的重绘区域同样需要画笔涂抹,再加上简单的提示词,一定要选择正确的图像模型才会出效果。

参数设置:

  • 蒙版边缘模糊度: 类似于PS里的羽化效果,数值越大,蒙版周边变化越大,生成的图和原图会有较大差别;

  • 蒙版模式: 就是字面意思;

  • 蒙版区域内容处理:

    - 填充效果按照画笔涂抹区域,重新生成内容填充到这个区域,如果提示词描述与原图内容不符,很大程度会瞎生成任何东西;

    - 原版效果按照画笔涂抹区域,重新生成与原图区域内容相符的新图,同样和提示词还有模型有关;

    - 潜空间噪声效果按照画笔涂抹区域,重新生成的内容与原图相差较大,提示词如果写的再精细也会有很大差别;

    - 空白潜空间效果按照画笔涂抹区域,跟原版效果类似,在提示词同样的情况下,它只会考虑这个涂抹区域,且更多的识别涂抹区域周边环境的内容。

    总结:这里推荐原版或填充,如果没有特殊需求就不要选择其他两个参数。

  • 重绘区域:

    - 整张图片: 画笔涂抹区域和未涂抹区域重新生成新图,未涂抹区域会有变化;

    - 仅蒙版区域: 画笔涂抹区域生成新图,未涂抹区域没有变化。

  • 仅蒙版区域下边缘预留像素: 确保处理效果的平滑性和避免产生硬边或不自然的过渡,而在蒙版区域的下边缘额外保留了一些像素,建议默认值。

3.4 涂鸦重绘

与局部重绘类似,只是涂抹画笔带有色彩了。

比如你用绿色的画笔在手上这个区域涂抹,提示词写手表,涂抹区域就会根据画笔色彩生成一只绿色的手表。

3.5上传重绘蒙版

提前制作的蒙版图片,功能与局部重绘类似。


参数区域

除了功能区域,参数区域对于图生图也是比较重要的,那么我们来讲解下吧。

1. 缩放模式

这里的缩放模式是调整图片尺寸大小,常用“剪裁后缩放”,与界面上的3号区域搭配使用的,先调整3号区域内的宽度和高度,再调整4号区域的重绘幅度,2号区域的迭代步数和采样方法默认即可。然后点击生成就可以产出新图了。当然了,你要改变原图的风格或者图内元素就需要切换模型和输入提示词了。那么我们看看这四种模式到底有什么不同。

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

2.采样方法迭代步数

这里的功能与文生图是一模一样的,可以参考上一篇教学。

3. 重绘尺寸

这里的尺寸需要与缩放模式结合使用。

4. 重绘幅度

这里很关键,要生成出理想的图就需要很好地控制数值,数值为0-1, 数值越小变化越小,也就是越靠近原图,数值越大变化越大,也就是和原图什么很大关系了。那么看下图的数值变化产生的图的效果:

在图像模型、提示词和参数值不变的情况下,只调整重绘幅度,可以很明显地看出来,原图和重绘幅度为1的图完全是两张图了。

那么我们怎么用好这些参数呢

调整重绘幅度数值,一般调整到0.35-0.5之间,那么生成的图和原图是最接近的。


!总结!

在本篇中,我们把图生图的基础功能都讲解了一遍,通过参考图像和提示词来引导AI进行图像的二次创作。这种方法弥补了文生图随机性大的不足,使得图像修改更加精确。通过涂鸦、局部重绘等功能,在保留原图特征的同时,实现对人物五官、发色、风格、背景和着装等元素的修改。参数设置,如缩放模式、采样方法、迭代步数、重绘尺寸和幅度,对生成图像的效果有重要影响。合适的参数调整可以帮助您获得与原图相似度适中的新图像。有需要探讨或者对AI绘图有兴趣的小伙伴可以加入我们。下一篇我们继续讲SD的其他用法。

写在最后

感兴趣的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。

AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。

在这里插入图片描述

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。

在这里插入图片描述

在这里插入图片描述

二、AIGC必备工具

工具都帮大家整理好了,安装就可直接上手!
在这里插入图片描述

三、最新AIGC学习笔记

当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
在这里插入图片描述
在这里插入图片描述

四、AIGC视频教程合集

观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

在这里插入图片描述

五、实战案例

纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
在这里插入图片描述

若有侵权,请联系删除
Logo

开放原子开发者工作坊旨在鼓励更多人参与开源活动,与志同道合的开发者们相互交流开发经验、分享开发心得、获取前沿技术趋势。工作坊有多种形式的开发者活动,如meetup、训练营等,主打技术交流,干货满满,真诚地邀请各位开发者共同参与!

更多推荐