出品人:Towhee 技术团队 王翔宇、顾梦佳
扩散模型在图像生成领域有着难以撼动的地位,而其通常都选择了卷积 U-Net作为主干模型。那么在其他领域大杀四方的 Transformers 在扩散模型中是否还有用武之地呢?基于这一想法,DiT(Diffusion Transformer) 利用transformer结构探索了一种新的扩散模型。它不仅继承了Transformer模型类的优秀扩展特性,性能还优于先前使用U-Net的模型。研究表明,扩散模型可以成功地用 transformer 替换 U-Net 主干。另外,它还证明了网络复杂性与样本质量之间存在很强的相关性。通过简单地扩展 DiT 并训练具有高容量主干的潜在扩散模型,DiT 模型可以在类条件 256 × 256 ImageNet 生成基准上实现 FID 2.27 的最新结果。
The Diffusion Transformer (DiT) architecture.
DiT 首先将空间表示输入通过第一层网络,将每个 patch 线性嵌入到输入中,以此将空间输入转换为一个数个 token 序列。然后,模型会将标准的基于 ViT 频率的位置嵌入应用于所有输入 token。接着,输入 token 由一系列 transformer 块处理。除了噪声图像输入之外,扩散模型有时还会处理额外的条件信息,例如噪声时间步长、类标签、自然语言等。DiT 探索了四种transformer 块变体,分别以不同方式处理条件输入 。
相关资料:
-
代码地址:https://github.com/facebookresearch/DiT
-
论文链接:Scalable Diffusion Models with Transformers文章来源:https://www.toymoban.com/news/detail-831565.html
-
更多资料:统治扩散模型的U-Net要被取代了,谢赛宁等引入Transformer提出DiT文章来源地址https://www.toymoban.com/news/detail-831565.html
到了这里,关于DiT:Transformers 与扩散模型强强联手的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!