diffusion model (七) diffusion model是一个zero-shot 分类器

这篇具有很好参考价值的文章主要介绍了diffusion model (七) diffusion model是一个zero-shot 分类器。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

Paper: Your Diffusion Model is Secretly a Zero-Shot Classifier

Website: diffusion-classifier.github.io/

相关阅读

  • diffusion model(一)DDPM技术小结 (denoising diffusion probabilistic)
  • diffusion model(二)—— DDIM技术小结
  • diffusion model(三)—— classifier guided diffusion model
  • diffusion model(四)文生图diffusion model(classifier-free guided)
  • diffusion model(五)stable diffusion底层原理(latent diffusion model, LDM

背景

最近,出现了一系列大规模的文生图模型,它们极大地增强了我们通过文字生成图片的能力。这些模型可以根据各种提示生成逼真的图片,展现出惊人的综合创作能力。到目前为止,几乎所有的应用都只关注了模型的生成功能,但实际上,这些模型还能提供条件密度估计,这对于处理图像生成之外的任务也很有用。

本篇文章指出类似stable diffusion这样的大规模文本转图像模型所计算出的密度估计,可以被用来进行“零样本分类” (zero-shot classification),而不需要额外的训练。

方法大意

diffusion model的背景知识

从前面diffusions系列文章中我们知道,diffuison model的去噪过程是一个马尔可夫过程
p θ ( x 0 ) = ∫ p θ ( x 0 : T ) d x 1 : T 其中:  p θ ( x 0 : T ) : = p θ ( x T ) ∏ t = 1 T p θ ( x t − 1 ∣ x t ) p θ ( x t − 1 ∣ x t ) = N ( x t − 1 ; μ θ ( x t , t ) , σ t I ) (1) p_\theta(x_{0})= \int p_\theta(x_{0:T})dx_{1:T} \\ \text{其中:} \space p_\theta(x_{0:T}) := p_\theta(x_T)\prod_{t=1}^{T} p_\theta (x_{t-1}|x_t) \\ p_\theta (x_{t-1}|x_t) = \mathcal{N}(x_{t-1}; \mu_\theta(x_t, t) , \sigma_t \textbf{I}) \tag{1} pθ(x0)=pθ(x0:T)dx1:T其中: pθ(x0:T):=pθ(xT)t=1Tpθ(xt1xt)pθ(xt1xt)=N(xt1;μθ(xt,t),σtI)(1)
即:
p θ ( x 0 ) = ∫ p θ ( x T ) ∏ t = 1 T p θ ( x t − 1 ∣ x t ) d x 1 : T p θ ( x t − 1 ∣ x t ) = N ( x t − 1 ; μ θ ( x t , t ) , σ t I ) (2) p_\theta(x_{0})= \int p_\theta(x_T)\prod_{t=1}^{T} p_\theta (x_{t-1}|x_t) dx_{1:T} \\ p_\theta (x_{t-1}|x_t) = \mathcal{N}(x_{t-1}; \mu_\theta(x_t, t) , \sigma_t \textbf{I}) \tag{2} pθ(x0)=pθ(xT)t=1Tpθ(xt1xt)dx1:Tpθ(xt1xt)=N(xt1;μθ(xt,t),σtI)(2)
p θ ( x T ) p_\theta(x_T) pθ(xT)服从正态分布 N ( x T ; 0 , I ) \mathcal{N}(x_T; 0, \mathrm{I}) N(xT;0,I), 其与 θ \theta θ无关,可记作 p ( x T ) p(x_T) p(xT)

当给定条件 c c c时,采样过程可以表述为
p θ ( x 0 ∣ c ) = ∫ p ( x T ) ∏ t = 1 T p θ ( x t − 1 ∣ x t , c ) d x 1 : T (3) p_\theta(x_{0} | c)= \int p(x_T)\prod_{t=1}^{T} p_\theta (x_{t-1}|x_t, c) dx_{1:T} \\ \tag{3} pθ(x0c)=p(xT)t=1Tpθ(xt1xt,c)dx1:T(3)

由于涉及到积分,直接最大化 p θ ( x 0 ∣ c ) p_\theta(x_0|c) pθ(x0c)很难求解,因此diffusion model的训练采用了最小化对数似然的证据下界(Evidence Lower Bound, ELBO)。通过推导得出:最大化 p θ ( x 0 ∣ c ) p_\theta(x_0|c) pθ(x0c)相当于优化下界【预测噪声和实际添加噪声差异的期望越小越好】。详细过程可参考文献[1]中的式32-45, 86-92
log ⁡ p θ ( x 0 ∣ c ) ≥ E q [ log ⁡ p θ ( x 0 : T ∣ c ) q ( x 1 : T ∣ x 0 ) ] = E q [ log ⁡ p ( x T ) ∏ t = 1 T p θ ( x t − 1 ∣ x t , c ) ∏ t = 1 T q ( x t ∣ x t − 1 ) ] = E q [ log ⁡ p ( x T ) p θ ( x 0 ∣ x 1 , c ) ∏ t = 2 T p θ ( x t − 1 ∣ x t , c ) q ( x T ∣ x T − 1 ) ∏ t = 1 T − 1 q ( x t ∣ x t − 1 ) ] ⋯ = − E ϵ [ ∑ t = 2 T w t ⏟ 当训练时以均匀分布采样时间步时 w t = 1 ∥ ϵ − ϵ θ ( x t , c ) ∥ 2 − log ⁡ p θ ( x 0 ∣ x 1 , c ) ⏟ 当T足够大时,该项 → 0 ] + C ⏟ 常数与c无关 ≈ 去除无关项 − E ϵ , t [ ∥ ϵ − ϵ θ ( x t , c ) ∥ 2 ] (4) \begin{aligned} \log p _ { \theta } ( x _ { 0 } \vert c ) &\ge \mathbb{E} _ { q } [ \log \frac { p _ { \theta } ( x _ { 0 : T } | c ) } { q ( x _ { 1 : T } \vert x _ { 0 } ) } ] \\ &= \mathbb{E} _ { q } [ \log \frac { p(x_T)\prod_{t=1}^{T} p_\theta (x_{t-1}|x_t, c)} { \prod _ { t = 1 } ^ { T } q ( x _ { t } \vert x _ { t - 1 } ) } ] \\ & = \mathbb{ E } _ { q } [ \log \frac { p ( x _ { T } ) p _ { \theta } ( x _ { 0 } \vert x _ { 1 } , c) \prod _ { t = 2 } ^ { T } p _ { \theta } ( x _ { t - 1 } \vert x _ { t } , c ) } { q ( x _ { T } \vert x _ { T - 1 } ) \prod _ { t = 1 } ^ { T - 1 } q ( x _ { t } \vert x _ { t - 1 } ) } ] \\ & \cdots \\ &= - \mathbb{E} _ { \epsilon } [ \sum _ { t = 2 } ^ { T } \underbrace{w _ { t }}_{\text{当训练时以均匀分布采样时间步时}w_t=1} \Vert \epsilon - \epsilon _ { \theta } ( x _ { t } , c ) \Vert ^ { 2 } - \underbrace {\log p _ { \theta } ( x _ { 0 } \vert x _ { 1 } , c )}_{\text{当T足够大时,该项} \rightarrow 0} ] + \underbrace{C}_{\text{常数与c无关}} \\ & \stackrel{去除无关项} \approx - \mathbb{E} _ { \epsilon, t} \left[ \Vert \epsilon - \epsilon _ { \theta } ( x _ { t } , c ) \Vert ^ { 2 } \right]\\ \end{aligned}\tag{4} logpθ(x0c)Eq[logq(x1:Tx0)pθ(x0:Tc)]=Eq[logt=1Tq(xtxt1)p(xT)t=1Tpθ(xt1xt,c)]=Eq[logq(xTxT1)t=1T1q(xtxt1)p(xT)pθ(x0x1,c)t=2Tpθ(xt1xt,c)]=Eϵ[t=2T当训练时以均匀分布采样时间步时wt=1 wtϵϵθ(xt,c)2T足够大时,该项0 logpθ(x0x1,c)]+常数与c无关 C去除无关项Eϵ,t[ϵϵθ(xt,c)2](4)

如何将diffusion model应用到zero-shot classification

diffusion model (七) diffusion model是一个zero-shot 分类器,diffusion model,diffusion model,stable diffusion,zero-shot,分类器

对于一个分类模型,给定输入 x x x,模型输出类别的概率向量 c c c, 即 p θ ( c ∣ x ) p_\theta(c|x) pθ(cx),为了用diffusion model求解 p θ ( c ∣ x ) p_\theta(c|x) pθ(cx),需要用到贝叶斯公式
p θ ( c i ∣ x ) = p ( c i )   p θ ( x ∣ c i ) ∑ j p ( c j )   p θ ( x ∣ c j ) (5) p _ { \theta } ( c _ { i } \vert x ) = \frac { p ( c _ { i } ) \, p _ { \theta } ( x \vert c _ { i } ) } { \sum _ { j } p ( c _ { j } ) \, p _ { \theta } ( x \vert c _ { j } ) } \tag{5} pθ(cix)=jp(cj)pθ(xcj)p(ci)pθ(xci)(5)
不妨假设各个类别的先验概率相同,有 p ( c 1 ) = p ( c 2 ) = ⋯ = p ( c N ) = 1 N p(c_1)=p(c_2)=\cdots=p(c_N) = \frac{1}{N} p(c1)=p(c2)==p(cN)=N1

式5可写作
p θ ( c i ∣ x ) = p θ ( x ∣ c i ) ∑ j   p θ ( x ∣ c j ) = exp ⁡ { log ⁡ ( p θ ( x ∣ c i ) ) } ∑ j   exp ⁡ { log ⁡ ( p θ ( x ∣ c j ) ) } (6) \begin{aligned} p _ { \theta } ( c _ { i } \vert x ) &= \frac { p _ { \theta } ( x \vert c _ { i } ) } { \sum _ { j } \, p _ { \theta } ( x \vert c _ { j } ) } \\ & = \frac { \exp \{ \log {( p _ { \theta } ( x \vert c _ { i } ) } ) \} } { \sum _ { j } \, \exp \{ \log {( p _ { \theta } ( x \vert c _ { j } ))} \} } \end{aligned} \tag{6} pθ(cix)=jpθ(xcj)pθ(xci)=jexp{log(pθ(xcj))}exp{log(pθ(xci))}(6)
根据式4,我们知道 log ⁡ p θ ( x 0 ∣ c ) ≈ − E ϵ , t [ ∥ ϵ − ϵ θ ( x t , c ) ∥ 2 ] \log p _ { \theta } ( x _ { 0 } \vert c ) \approx - \mathbb{E} _ { \epsilon, t} \left[ \Vert \epsilon - \epsilon _ { \theta } ( x _ { t } , c ) \Vert ^ { 2 } \right] logpθ(x0c)Eϵ,t[ϵϵθ(xt,c)2], 带入上式得
p θ ( c i ∣ x ) ≈ exp ⁡ { − E ϵ , t [ ∥ ϵ − ϵ θ ( x t , c i ) ∥ 2 ] } ∑ j   exp ⁡ { − E ϵ , t [ ∥ ϵ − ϵ θ ( x t , c j ) ∥ 2 ] } (7) \begin{aligned} p _ { \theta } ( c _ { i } \vert x ) & \approx \frac { \exp \{ - \mathbb{E} _ { \epsilon, t} \left[ \Vert \epsilon - \epsilon _ { \theta } ( x _ { t } , c_i ) \Vert ^ { 2 } \right]\} } { \sum _ { j } \, \exp \{ - \mathbb{E} _ { \epsilon, t} \left[ \Vert \epsilon - \epsilon _ { \theta } ( x _ { t } , c_j ) \Vert ^ { 2 } \right] \} } \end{aligned} \tag{7} pθ(cix)jexp{Eϵ,t[ϵϵθ(xt,cj)2]}exp{Eϵ,t[ϵϵθ(xt,ci)2]}(7)
由此我们推导出了基于diffusion model的classifier。

如何求解

我们看到求式7的关键是不同类别下,预测的噪声和实际噪声差异的期望。这里面有两个随机变量,分别是 ϵ , t \epsilon, t ϵ,t,其中 ϵ ∼ N ( 0 , I ) \epsilon \sim \mathcal{N}(0, \mathrm{I}) ϵN(0,I), t ∼ u n i f o r m ( 0 , T ) t \sim \mathrm{uniform}(0, T) tuniform(0,T)。可以用蒙特卡诺采样对上述期望进行估计,假定依概率对上述两个随机变量采样 K K K次,得到 { ( ϵ i , t i ) ∣ i = 0 , 1 , ⋯ K } \{ (\epsilon_i, t_i)|i = 0, 1, \cdots K \} {(ϵi,ti)i=0,1,K},可将式7转化为
E ϵ , t [ ∥ ϵ − ϵ θ ( x t , c j ) ∥ 2 ] = 1 K ∑ i = 1 K ∥ ϵ i − ϵ θ ( x t i , c j ) ∥ 2 (8) \mathbb{E} _ { \epsilon, t} \left[ \Vert \epsilon - \epsilon _ { \theta } ( x _ { t } , c_j ) \Vert ^ { 2 } \right] = \frac { 1 } { K } \sum _ { i = 1 } ^ { K } \Vert \epsilon _ { i } - \epsilon _ { \theta } (x_{t_i}, c _ { j } ) \Vert ^ { 2 } \tag{8} Eϵ,t[ϵϵθ(xt,cj)2]=K1i=1Kϵiϵθ(xti,cj)2(8)
当我们求出每一个类别 j j j下的 p θ ( c j ∣ x ) p _ { \theta } ( c _ { j } \vert x ) pθ(cjx),值最大的就是预测出来的类别。

细心的同学发现了,为了准确的估计期望,需要用蒙特卡诺方法采样较多的样本,一个样本意味着需要用diffusion model推理一次得到预测的噪声,当样本量较大时,推理时间会非常大。总的推理次数为 K ∗ # c K * \# c K#c, K K K为蒙特卡诺的采样的样本数目, # c \# c #c为类别数目, # c = N \#c=N #c=N

在实践中为了减少推理速度,作者修改了对 t i , ϵ i t_i, \epsilon_i ti,ϵi这两个随机变量的采样逻辑,也将上面的one-stage分类的范式转化为two-stage。感兴趣的读者可以阅读原文。本文简单介绍核心思路:

对于第一个提速方案:修改采样逻辑。主要基于实验观测,如下图。

(注:横轴表示 ϵ i \epsilon_i ϵi的采样数目。Uniform: t = [ 0 , 1 , 2 , . . , 1000 ] t = [0,1, 2, .., 1000] t=[0,1,2,..,1000], 0, 500, 1000: t = [ 0 , 500 , 1000 ] t=[0, 500, 1000] t=[0,500,1000], even 10: t = [ 0 , 10 , 20 , . . . , 1000 ] t = [0, 10, 20, ..., 1000] t=[0,10,20,...,1000]

diffusion model (七) diffusion model是一个zero-shot 分类器,diffusion model,diffusion model,stable diffusion,zero-shot,分类器

对于第二个提速方案:作者将 N = { ( ϵ i , t i ) ∣ i = 0 , 1 , ⋯ K } N= \{ (\epsilon_i, t_i)|i = 0, 1, \cdots K \} N={(ϵi,ti)i=0,1,K}划分了成两个集合 K 1 , K 2 K_1, K_2 K1,K2, 首先在 K 1 K_1 K1中根据式7估计 x x x的类别。保留概率最高的 M M M个类别。随后在集合 K 2 K_2 K2上对前 M M M个可能的类别继续用式7计算概率。此时的计算量从 K ∗ # c K * \#c K#c变为 K 1 ∗ # c + ( K 2 ) ∗ M K_1 * \#c + (K_2) * M K1#c+(K2)M

实验

作者对比同为zero-shot classifier的CLIP,结果如下。zero-shot的能力以及接近了基于renset50的CLIP。但与openCLIP ViT-H/14还有较大差距。其它更多的实验对比请见原始论文。

diffusion model (七) diffusion model是一个zero-shot 分类器,diffusion model,diffusion model,stable diffusion,zero-shot,分类器

参考文献

[1]: Luo, Calvin. “Understanding diffusion models: A unified perspective.” arXiv preprint arXiv:2208.11970 (2022).
[2]: Li, Alexander C., et al. “Your diffusion model is secretly a zero-shot classifier.” arXiv preprint arXiv:2303.16203 (2023).文章来源地址https://www.toymoban.com/news/detail-652858.html

到了这里,关于diffusion model (七) diffusion model是一个zero-shot 分类器的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Tool Documentation Enables Zero-Shot Tool-Usage with Large Language Models

    本文是LLM系列文章的内容,针对《Tool Documentation Enables Zero-Shot Tool-Usage with Large Language Models》的翻译。 如今,大型语言模型(LLM)通过提供一些工具用法的演示来学习使用新工具。不幸的是,演示很难获得,如果选择了错误的演示,可能会导致不希望的有偏见的使用。即使在

    2024年02月14日
    浏览(35)
  • 【论文笔记】SAM3D: Zero-Shot 3D Object Detection via Segment Anything Model

    原文链接:https://arxiv.org/pdf/2306.02245.pdf   分割一切模型(SAM)作为视觉领域的基石模型,有强大的泛化性,能解决很多2D视觉问题。但是SAM是否可以适用于3D视觉任务,仍需要被探索。   目前几乎没有关于3D目标检测的零样本学习,如何使SAM的零样本能力适用于3D目标检测

    2024年02月16日
    浏览(37)
  • Zero-shot RIS SOTA:Text Augmented Spatial-aware Zero-shot Referring Image Segmentation 论文阅读笔记

    写在前面   好久没看到有做 Zero-shot RIS 的文章了,看到 arxiv 上面更新了这篇,特意拿出来学习一下。 论文地址:Zero-shot RIS SOTA:Text Augmented Spatial-aware Zero-shot Referring Image Segmentation 代码地址:原文未提供 预计投稿于:AAAI 等顶会 Ps:2023 年每周一篇博文阅读笔记,主页 更

    2024年02月19日
    浏览(45)
  • 【计算机视觉】Zero-shot, One-shot和Few-shot的理解

    机器学习任务按照对 样本量 的需求可以分为:传统监督式学习、Few-shot Learning、One-shot Learning、Zero-shot Learning。 传统learning,炼丹模式。传统深度学习的学习速度慢,往往需要学习海量数据和反复训练后才能使网络模型具备不错的泛化能力,传统learning可以总结为:海量数据

    2024年02月04日
    浏览(51)
  • AIGC零基础30天学习——CLIP与zero-shot

           在前面对CLIP的学习中,对 zero-shot prediction 环节一直有一些疑惑,zero-shot是什么,它该如何进行操作?     zero-shot是指零样本学习,和zero-shot相关联的概念包括many-shot、few-shot和one-shot,这些其实都是从训练集样本类型、测试集样本类型和对应的样本数量角度进行划分

    2024年02月09日
    浏览(39)
  • 105、Zero-1-to-3: Zero-shot One Image to 3D Object

    官网  使用合成数据集来学习相对摄像机视点的控制,这允许在指定的摄像机变换下生成相同对象的新图像,用于从单个图像进行三维重建的任务。  输入图像 x ∈ R H × W × 3 x in R^{H times W times 3} x ∈ R H × W × 3 ,所需视点的相对摄像机旋转和平移 R ∈ R 3 × 3 , T ∈ R

    2024年02月01日
    浏览(45)
  • 代码解读:Zero-shot 视频生成任务 Text2Video-Zero

    Diffusion Models视频生成-博客汇总 前言: 上一篇博客《【ICCV 2023 Oral】解读Text2Video-Zero:解锁 Zero-shot 视频生成任务》解读了这篇论文《Text2Video-Zero: Text-to-Image Diffusion Models are Zero-Shot Video Generators》。这篇论文的创新点比较多,含金量很高,而且开源了代码。所以这篇博客结合

    2024年02月03日
    浏览(54)
  • 论文笔记--Prompt Consistency for Zero-Shot Task Generalization

    标题:Prompt Consistency for Zero-Shot Task Generalization 作者:Chunting Zhou, Junxian He, Xuezhe Ma, Taylor Berg-Kirkpatrick, Graham Neubig 日期:2022 期刊:Arxiv preprint   文章基于prompt的一致性学习给出了一种zero-shot task generalization(零样本泛化学习)的无监督方法。数值实验表明,文章提出的指令

    2024年02月10日
    浏览(41)
  • 【深度学习】【风格迁移】Zero-shot Image-to-Image Translation

    论文:https://arxiv.org/abs/2302.03027 代码:https://github.com/pix2pixzero/pix2pix-zero/tree/main 大规模文本到图像生成模型展示了它们合成多样且高质量图像的显著能力。然而,直接将这些模型应用于编辑真实图像仍然存在两个挑战。首先, 用户很难提供完美的文本提示,准确描述输入图像

    2024年02月13日
    浏览(47)
  • 【NLP文章阅读】Zero-Shot Information Extraction via Chatting with ChatGPT

    转载和使用规则:更多论文解读请关注: NLP_paper,如需转载文章需要为我的github项目star,并声明文章来源 零样本信息提取(Information Extraction)旨在从未注释的文本中构建IE系统。由于很少涉及人类干预,这是一项具有挑战性的工作。零样本IE具有挑战性但值得一提,它减少

    2023年04月09日
    浏览(85)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包