大家好,我是程序员晓晓

在AI绘画Stable Diffusion 的 ControlNet控制网中,** Reference(参考)** 是ControlNet的一个组件,该组件能够被用于描述使用参考图像来指导和影响新图像生成的过程ControlNet Reference(参考) 使得用户能够指定参考图像中期望的属性、构图或风格等属性,然后将这些元素融入到新生成的图像输出中。在官方文档中介绍到:reference-only预处理是一款不需要任何控制模型即可实现使用一张图片作为参考来引导扩散,能够保证生成图片的一致性。

通过提供一个参考图像,用户就可以对SD的输出施加更多的控制。模型从参考图像中的特征中学习,并利用这些信息生成风格或内容一致的图像

ControlNet Reference(参考) 能够帮助用户在生成过程中实现更高程度的控制和定制,使它们能够将输出引导至特定的偏好或艺术视野 。这是生成与参考图像非常相似或受其启发的图像的有价值工具,增强了用户创建期望构图的能力。

ControlNet Reference体验

本文将会深入探讨ControlNet Reference(参考) 这个图像处理强大的工具。在ControlNet Reference(参考) 预处理器中提供三种不同的选项:

  • reference adain (仅参考输入图-自适应实例规范):Reference adain 预处理器采用自适应实例归一化技术进行风格迁移。该方法允许用户将参考图像的视觉风格转移到生成输出图像

  • reference only (仅参考输入图):Reference only预处理器可以在参考图像和注意力层之间建立直接链接。链接使模型能够在图像生成过程中专注于参考图像的特定区域

  • reference adain+attn (仅参考输入图-自适应实例规范 + Attention链接):Reference adain+attn预处理器是结合了Reference adain和Reference only预处理器的优势。能够在转移参考图像风格的同时,建立对注意力层的直接链接 。使用两者组合允许在图像生成过程中实现更多的生成输出图像控制和定制

与其他预处理器不同,Reference 不需要选择控制处理模型。一旦选择了此预处理器,模型下拉菜单将被隐藏。

以下体验使用模型配置为:

  • 绘图模型AWPortrait(1.5)

  • 迭代步数:30

  • CFG:7

  • 分辨率:768*1280

  • 启用adetailer修复手和脸。

本文中涉及模型、Reference组件下载 请扫描免费获取哦

  • AWPortrait

  • MIRACLE-上海照相馆 LORA模型

  • vae-84m-pruned


ControlNet Reference配置

首先,在ControlNet中勾选Reference (参考),勾选完美像素模式,选择一款预处理器(Reference adain、Reference only或Reference adain+attn)。然后,就可以利用参考预处理器生成与您期望的风格和视觉参考一致的图像。尝试使用不同的预处理器和参考图像,探索不同的创意可能性。

提示词: 1girl, solo, chinese girl, black-hair,(smile:1.3), looking at viewer, (natural skin texture, soft light, sharp), blue background, High resolution, chocolae light, ((Hasselblad photography)), (straight-on:1.3),cowboy shot,full body, cinematic lighting, Sony FE, depth of field, Fujicolor, anatomically correct, textured skin, award winning, best quality, retina,Standing in the middle,

输入图像

Reference Only体验示例

在这里利用Reference (参考) 实现创建穿着不同服装的一致角色,实现风格一致性图像输出。从下图示例中,能够看出生成图像与原图80%以上的一致性,存在一些细节的差别。这如果在增加上IPAdapter、InstantID或者换脸插件效果会更强。

生成效果:

Reference adain体验示例

在这里插入图片描述

Reference adain+attn体验示例

更多体验示例

01. 写真

high quality, photoshop, raw, 8K, 1girl, smile, upper body, Realistic facial details, Makeup, oil withe skin, Casual long dress, Bare shoulders, Pure white background, library

CN配置

输出图像

感兴趣的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。

AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。

在这里插入图片描述

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。

在这里插入图片描述

在这里插入图片描述

二、AIGC必备工具

工具都帮大家整理好了,安装就可直接上手!
在这里插入图片描述

三、最新AIGC学习笔记

当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
在这里插入图片描述
在这里插入图片描述

四、AIGC视频教程合集

观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

在这里插入图片描述

五、实战案例

纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
在这里插入图片描述

若有侵权,请联系删除
Logo

助力广东及东莞地区开发者,代码托管、在线学习与竞赛、技术交流与分享、资源共享、职业发展,成为松山湖开发者首选的工作与学习平台

更多推荐