AI 绘画新手必备秘笈：Stable Diffusion 各类模型解析与使用
对于刚开始涉足 Stable Diffusion 的AI 绘画新手而言，面对各种层出不穷的新型概念可能会令人感到非常困惑。在这其中，模型的概念和它们之间的关系尤为重要，就好像法师在冒险之前要了解各种法师装备一样，只有掌握了这些关键信息，才能在创作中发挥最大的效果。
认识Safetensors
在深入探索各种模型之前，我们必须首先了解什么是Safetensors。相信曾经与Stable Diffusion亲密接触过的朋友，对这个名字一定不会陌生。它常常出现在众多模型的后缀中，但实际上，Safetensors的出现给人留下了一些困惑。
Safetensors实际上是由Hugging Face社区开发的一种开源模型格式。它具有一些独特的优势，例如足够安全，能够有效防止DOS攻击；加载速度迅捷，能够提高使用效率；支持懒加载，让您随时调用模型。由于这些优点，现在许多开源模型都提供了Safetensors格式。
Safetensors的几种优势：
- 足够安全，可以防止 DOS 攻击
- 加载迅速
- 支持懒加载
- 通用性强
- 所以现在大部分的开源模型都会提供Safetensors格式。
开源地址： https://github.com/huggingface/safetensors
Stable Diffusion模型的分类
现在，让我们一起深入了解Stable Diffusion中常见的各种模型，以及它们的用途和特点。
Checkpoint – 主模型
Checkpoint是Stable Diffusion中的重要模型，也是核心模型，几乎所有操作都依赖于它。这些主模型都是基于Stable Diffusion模型训练而来，因此有时也被称为Stable Diffusion模型。主模型的后缀通常为.ckpt或.safetensors，体积较大，一般在2G至7G之间。管理模型时，我们需要进入WebUI目录下的models/Stable-diffusion。
在使用 WebUI 时左上角切换的Stable Diffusion Checkpoint就是主模型了。
LoRA和LyCORIS
LoRA和LyCORIS是常见的微调模型，用于控制画风、生成角色以及调整姿势等。它们的后缀均为.safetensors，体积较小，一般在4M至300M之间。使用时，可以通过WebUI界面左上角的小红灯切换至LoRA菜单进行使用，也可直接使用Prompt进行调用。
需要管理模型时我们可以进入 WebUI 目录下的 models/LoRA 目录下。
在 WebUI 中使用时，可通过点击左侧的小红灯，然后在 LoRA 菜单中点击使用。也可以直接使用 Prompt 调用。
Textual Inversion – 文本编码器
Textual Inversion是文本编码器模型，用于改变文字向量，实际上就是一组提示。它的后缀为.pt或.safetensors，体积非常小，一般只有几kb。这些模型并不在models目录下，而是位于WebUI界面的embeddings目录中。使用时，同样可以通过小红灯中的Textual Inversion进行切换，或者使用Prompt进行调用。
Hypernetworks – 神经网络调整模型
Hypernetworks模型用于调整模型神经网络权重，进行风格微调。它的后缀为.pt或.safetensors，体积一般在20M至200M之间。模型的目录为 WebUI 下的 models/hypernetworks。在使用时，同样可以通过小红灯中的Hypernetworks进行切换。
ControlNet – 控制模型
ControlNet是一个极为强大的控制模型，用于画面、动作、色深、色彩等的控制。使用时需要安装相应的扩展。这类模型的后缀为.safetensors，模型目录在models/ControlNet。
在使用时，您需要先在Extensions页面搜索并安装ControlNet扩展，然后即可在WebUI界面的txt2img和img2img菜单中找到相关功能。
VAE – 图片修正模型
VAE模型常用于修正图片亮度、饱和度以及画面效果。它的后缀为.pt或.safetensors，体积一般为335M或823M。在使用时，需要到Settings页面的SD VAE菜单进行切换。
但是这样使用过于繁琐，所以如果使用到建议在 Quicksettings list 配置中添加 sd_vae。
CodeFormer- 图片修复模型
CodeFormer模型用于图片修复，例如提高分辨率、彩色化黑白照片、人脸修复等。在WebUI中已经默认整合，可以在Extras菜单中使用。如需修改CodeFormer版本，可以将模型放置在models/codeformer目录下。
| 模型名称 | 作用 | 后缀名 | 大小 | 在 WebUI 中的文件夹 |
| Checkpoint | 主模型 | .ckpt 或 .safetensors | 2G – 7G | models/Stable-diffusion |
| LoRA 和 LyCORIS | 微调模型，一般用于控制画风、控制生成的角色、控制角色的姿势等等 | .safetensors | 2G – 7G | models/Stable-diffusion |
| Textual Inversion | 文本编码器模型 | .pt 或 .safetensors | KB 级别 | embeddings |
| Hypernetworks | 调整模型神经网络权重，进行风格的微调 | .pt 或 .safetensors | 20M – 200M | models/hypernetworks |
| ControlNet | 强大的控制模型，可以进行画面控制、动作控制、色深控制、色彩控制等等 | .safetensors | KB 级别 | models/ControlNet |
| VAE | 图片亮度和饱和度的修正、画面较正和以及补光等 | .pt 或 .safetensors | 335M 或 823M | models/VAE |
| CodeFormer | 修复模型，修复人脸、提高分辨率等 | – | – | models/codeformer |
以上就是Stable Diffusion中常用的几种模型，它们分别控制着图片的不同方面。通过这些模型的灵活运用，您将能够创造出更具创意和艺术价值的绘画作品。
