你准备好将你的 Stable Diffusion 技能提升到一个新的水平吗？如果是这样，让我们谈谈超 hypernetwork 模型。在这篇文章中，您将了解有关 hypernetwork 的所有知识以及如何使用它们来实现您正在寻找的结果。我将涵盖从什么是 hypernetwork 模型的基础知识到如何将其与 AUTOMATIC1111 Stable Diffusion GUI 一起使用的所有内容。另外，我什至会向您展示我在自己的工作中使用的一些我最喜欢的 hypernetwork 。
什么是 Stable Diffusion 中的 hypernetwork？
Hypernetwork 是一种微调技术，最初由Novel AI开发，Novel AI 是 Stable Diffusion 的早期采用者。它是一个附加到稳定扩散模型的小型神经网络，用于修改其样式。
小型超网络插入哪里？当然，它是稳定扩散模型中最关键的部分：噪声预测器 UNet 的 cross-attention 模块; LoRA 模型类似地修改了稳定扩散模型的这一部分，但方式不同。
hypernetwork 通常是一个简单的神经网络：一个带有 dropout 和 activation 的完全连接的线性网络。就像您将在神经网络入门课程中学习的那些一样。他们通过插入两个网络来转换键 和查询 向量来劫持交叉注意力模块。比较下面的原始模型架构和被劫持的模型架构。
原始Stable Diffusion模型的cross-attention模块。如下：
Hypernetwork 注入额外的神经网络来转换键和值：
在训练期间，Stable Diffusion 模型被锁定，但附加的 hypernetwork 允许改变。由于 hypernetwork 很小，训练很快并且需要有限的资源。培训可以在普通计算机上完成。
快速训练和小文件大小是 hypernetwork 的主要优点。
你应该知道它与机器学习中通常所说的超网络不同。这是一个为另一个网络生成权重的网络。所以，Stable Diffusion 的hypernetwork 并不是在 2016 年发明的。
与其他模型类型的区别
我将说明 hypernetworks 和其他模型类型之间的区别，以帮助您理解和决定使用哪一种。
Checkpoint 模型
Checkpoint包含生成图像所需的所有信息。您可以通过它们的大文件大小来识别它们。它们的范围从 2 到 7 GB。Hypernetwork 通常低于 200 MB。
Hypernetwork 无法单独运作。它需要使用 Checkpoint 模型来生成图像。
Checkpoint 模型比Hypernetwork 更强大。它可以比Hypernetwork 更好地存储风格。在训练Checkpoint模型时，整个模型都会进行微调。训练Hypernetwork 时，仅对Hypernetwork 进行微调。
LoRA模型
LoRA 模型与hypernetworks最相似。它们都很小，只修改交叉注意力模块。区别在于他们如何修改它。LoRA 模型通过改变其权重来修改交叉注意力。Hypernetwork 通过插入额外的网络来做到这一点。
用户普遍发现 LoRA 模型产生更好的结果。它们的文件大小相似，通常低于 200MB，并且比Checkpoint 模型小得多。
LoRA是一种数据存储方式。它没有定义培训过程，可以是Dreambooth或额外培训。hypernetworks定义了训练。
Embeddings
Embeddings也叫文本反转( textual inversion) 是微调方法的结果。与hypernetworks一样，textual inversion不会改变模型。它只是定义新的关键字来实现某些样式。
textual inversion和hypernetworks在Stable Diffusion模型的不同部分起作用。textual inversion在文本编码器中创建新的嵌入。Hypernetwork 将一个小型网络插入到噪声预测器的交叉注意力模块中。
hypernetworks在哪下载
最好的地方是civitai.com。使用Hypernetwork 过滤模型类型。
如何使用hypernetworks
我将向您展示如何在AUTOMATIC1111 Stable Diffusion GUI 中使用超网络。
第一步：安装 hypernetwork模型
要在 AUTOMATIC1111 webui 中安装超网络模型，请将模型文件放在以下文件夹中。
stable-diffusion-webui/models/hypernetworks
第 2 步：使用 hypernetwork模型
要使用hypernetwork，请在提示中输入以下短语。
<hypernet:filename:multiplier>
filename 是超网络的文件名，不包括扩展名（.pt 、 .bin 等）。
multiplier 是应用于hypernetwork模型的权重。默认值为 1。将其设置为 0 将禁用该模型。
你怎么能确定文件名是正确的？不要写这个短语，你应该点击大“生成”按钮下的模型按钮。
单击hypernetwork选项卡。您应该会看到已安装的hypernetwork列表。单击您要使用的那个。
hypernet 短语将插入提示中。
请注意，hypernet 短语不被视为提示的一部分。它只是指示使用哪个hypernetwork。应用hypernetwork后它将被删除。所以你不能像[keyword1:keyword2:0.5]一样使用任何prompt语法。
第 3 步：使用模型测试和创作
为了给自己最大的成功解锁预期风格的机会，首先将它与训练它的模型一起使用。但不要就此止步。某些超网络需要特定提示或仅适用于特定主题，因此请务必查看模型页面上的提示示例以查看最有效的方法。
这里有一个专业提示：如果您发现图像看起来有点过于饱和，则可能表明您需要调整倍增器。这是一个简单的修复。Stable Diffusion 有时可以将色彩饱和度解释为达到目标的完美方式，但减少乘数可以帮助让事情恢复平衡。
一旦您确认您的hypernetwork正在发挥其魔力，为什么不在其他models上尝试使用它呢？您永远不知道会出现什么有趣和意想不到的效果，说实话，玩起来很有趣。所以来吧，让你的创造力尽情发挥吧。
我使用的一些hypernetwork
Water Elemental
** Water Elemental** 是一个独特的hypernetwork，可以将任何东西变成水！在主题前使用短语“water elemental”。请务必描述背景。您可以将此超网络与Stable Diffusion v1.5一起使用。改变超网络权重来调整流水效果。
Water Elemental Hypernetwork 模型主页
Prompt:
water elemental woman walking across a busy street <hypernet:waterElemental_10:0.7>
Prompt：
water elemental a boy running on water <hypernet:waterElemental_10:1>
InCase Style
InCase Style 与 Anything v3 模型一起使用。它修改了 Anything v3 模型以产生更成熟的动漫风格。
迅速的：
detailed face, a beautiful woman, explorer in forest, white top, short brown pants, hat, sky background, realism, small breast <hypernet:incaseStyle_incaseAnythingV3:1>
Negative prompt:
moon, ugly, tiling, poorly drawn hands, poorly drawn feet, poorly drawn face, out of frame, extra limbs, disfigured, deformed, body out of frame, bad anatomy, watermark, signature, cut off, low contrast, underexposed, overexposed, bad art, beginner, amateur, distorted face, blurry, draft, grainy, large breast
Gothic RPG Artstyle
Gothic RPG Artstyle 产生时尚的单色插画风格。与 Protogen 模型一起使用。
Gothic RPG Artstyle Hypernetwork 模型页面
Prompt:
drawing male leather jacket cyberpunk 2077 on a city street by WoD1 <hypernet:gothicRPGArtstyle_v1:1>
其他资料
如果您有时间打发时间，这里有一些有趣的读物。
Hypernetwork Style Training，一个小指南——详细的培训指南。
Illustrated self-attention - 解释self-attention机制的数学原理，类似于cross-attention。
NovelAI 对稳定扩散的改进——请参阅“hypernetwork”部分了解他们的贡献。其他改进也很有趣。
Adding Conditional Control to Text-to-Image Diffusion Models – 这是 ControlNet 论文，但在第 2.1 节（相关作品）中包含对hypernetwork的说明。