AI大模型开发架构设计（2）——AI绘画技术架构&应用实践-Toy模板网

这篇具有很好参考价值的文章主要介绍了AI大模型开发架构设计（2）——AI绘画技术架构&应用实践。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

AI大模型开发架构设计（2）——AI绘画技术架构&应用实践,AIGC,AIGC,AI绘画,文生图,技术架构

把人类创造的内容用一个高维的数学向量进行表示
- 如果内容到向量的“翻译”足够合理且能代表内容的特征，人类所有的创作内容都可以转化到空间里的向量。
文生图整体可以分为三个部分：Language Model(语言模型)、Diffusion Model(扩散模型)、Decoder Model(解码模型)。

Language Model(语言模型)→Text Encoder(文本编码)

Language Model 是将输入的 Prompt 文本提示词转化为可以输入到 Diffusion Model 使用的表示形式，通常使用 Embedding 加上一些 Radom Noise 输入到下一层。

AI大模型开发架构设计（2）——AI绘画技术架构&应用实践,AIGC,AIGC,AI绘画,文生图,技术架构

Diffusion Model(扩散模型)→Image Information Creator

它是一个时间条件 U-Net(用于图像分割的深度学习架构)，它将文本表示和一些高斯噪音作为模型输入，将对应的图像添加一些高斯噪音，得到一个有点噪点的图像，在时间上重复这个过程，重复几百次后就可以获得完全嘈杂的图像。
这么做的过程，记录每个步骤的图像版本，用训练的 NN 就可以将噪声较大的示例作为输入，预测输出新图像。

AI大模型开发架构设计（2）——AI绘画技术架构&应用实践,AIGC,AIGC,AI绘画,文生图,技术架构

Decode Model(扩散模型)→放大 Diffusion Model 的输出到完整图像

它获得 Diffusion Model 的输出并放大到完整图像。
- 比如：扩散模型在 64 X 64 PX 上训练，解码模型将其提高到 512 X 512 PX。

AI大模型开发架构设计（2）——AI绘画技术架构&应用实践,AIGC,AIGC,AI绘画,文生图,技术架构

训练Encoder模型

在训练过程中，还有一个 Encode Model，它是 Decoder Model 的对应部分，它的目标是将输入图像转化为具有高语义意义的缩减采样表示，会消除与图像不太相关的高频视觉噪声。
Encoder Model 和 Diffusion Model 训练分开，采用 Encoder Model 后的图像作为 Diffusion Model 的输入，就可以在图像空间的训练比原始图像计算少64倍，大大节省了计算成本。
训练模型的训练&推理是计算最贵的部分。