论文笔记Autoregressive Denoising Diffusion Models for Multivariate Probabilistic Time Series Forecasting-Toy模板网

这篇具有很好参考价值的文章主要介绍了论文笔记Autoregressive Denoising Diffusion Models for Multivariate Probabilistic Time Series Forecasting。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

论文针对多元概率时间序列预测（multivariate probabilistic time series forecasting）任务，提出了TimeGrad模型。
有开源的代码：PytorchTS
概率预测如下图所示，对未来的预测带有概率：
论文笔记Autoregressive Denoising Diffusion Models for Multivariate Probabilistic Time Series Forecasting

TimeGrad模型基于Diffusion Probabilistic Model，Diffusion Probabilistic Model这里不再介绍，可以简单认为是一个可以拟合复杂分布的概率模型。需要学习的请参见博客《Denoising Diffusion Probabilistic Models简介》。
在了解Diffusion Probabilistic Model的基础上，这篇文章的方法非常简单。如果把TimeGrad基于的Diffusion Probabilistic Model换成高斯分布，TimeGrad就类似DeepAR了。

方法

将多变量时间序列表示为 $x_{i,t}^0\in \mathbb{R}, i=\{i,...,D\}$ ，其中 $t$ 是时间index， $D$ 是多变量的变量数。给一个连续时间序列 $t\in [1, T]$ ，将其划分为context window $1,t_0)$ 和prediction window $t_0,T]$ 。任务目的是用context window的时间序列预测prediction window的时间序列。

TimeGrad的是一个自回归（autoregressive）的模型：
$q_{\mathcal X}(\mathbf x_{t_0:T}^0 | \mathbf x_{1:t_0-1}^0, \mathbf c_{1:T})=\Pi_{t=t_0}^Tq_{\mathcal X}(\mathbf x_{t}^0 | \mathbf x_{1:t-1}^0, \mathbf c_{1:T}) \tag{1}$ 其中 $\mathbf c_{i,t}$ 是协变量(covariate)，也就是特征，比如天气特征。
类似DeepAR，TimeGrad用RNN结构来建模历史的时间序列，得到隐状态(hidden state)：
$\mathbf h_{t-1}=\text{RNN}_\theta(\text{concat}(\mathbf x_{t-1}^0, \mathbf c_{t}), \mathbf h_{t-2})$ 之后，再根据隐状态用Diffusion Probabilistic Model得到时间序列。
那么，公式(1)有近似：
$\Pi_{t=t_0}^T p_\theta(\mathbf x_{t}^0 | \mathbf h_{t-1})$ 这里的 $\theta$ 包含RNN的参数和Diffusion Probabilistic Model的参数。

训练时优化的损失是negative log-likelihodd：
$\sum_{t=t_0}^T -\log p_\theta(\mathbf x_{t}^0 | \mathbf h_{t-1})$
时间 $t$ ，噪声等级 $n$ 的diffusion model的优化目标是：
$\mathbb{E}_{\mathbf{x}_t^0,\epsilon,n}\|\epsilon-\epsilon_\theta(\sqrt{\bar{\alpha}_t}\mathbf{x}_0,\sqrt{(1-\bar{\alpha}_t)}\epsilon, \mathbf h_{t-1}, n)\|^2$ 其实就是Conditional Denoising Diffusion Probabilistic Models。值得注意的是，这里 $t$ 和普通Diffusion Probabilistic Models论文里面的 $t$ 是不一样的，这里的 $t$ 是时间序列的时间，这里的 $n$ 反而是普通Diffusion Probabilistic Models论文里面的 $t$ 。

方法的结构图如下图所示。RNN产生每个时间点的隐状态，再用Diffusion Probabilistic Model由隐状态产生时间序列的值。因为RNN是自回归的，所以整个模型是自回归的。
论文笔记Autoregressive Denoising Diffusion Models for Multivariate Probabilistic Time Series Forecasting
其中 $\epsilon_\theta$ 的结构如下图：

评价指标

文章的实验部分评价指标使用的是连续分级概率评分（Continuous Ranked Probability Score，CRPS）。
在贝叶斯机器学习中，预测的不是点估计，而是值的分布。传统的评分函数不适合统计设计，预测的分布聚合成它们的平均值或中值会导致关于预测分布的分散和形状的大量信息的损失。
CRPS计算累计分布函数 $F (z)$ 与观察值的兼容性，可以量化一个连续概率分布（理论值）与确定性观测样本（真实值）间的差异。
$\text{CRPS}(F, x) = \int_{\mathbb{R}}(F(z) - \mathbb I \{x \leq z \})^2 dz$ CRPS可视为平均绝对误差（Mean Absolute Error, MAE）在连续概率分布上的推广。在预测的分布和实际数据分布一致时，CRPS取得最小值。使用模型采样的样本可以近似计算预测的分布 $\hat F(z)=\frac{1}{S} \sum_{s=1}^S \mathbb I \{x^{0,s} \leq z \}$ 。

具体地，分别在时间序列的每一个维度计算CRPS。用 $\text{CRPS}_{\text{sum}}$ 表示时间序列所有维度的和。文章来源地址https://www.toymoban.com/news/detail-470801.html

到了这里，关于论文笔记Autoregressive Denoising Diffusion Models for Multivariate Probabilistic Time Series Forecasting的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！