论文笔记 Spatial-Temporal Identity: A Simple yet Effective Baseline for Multivariate Time Series Forecas-Toy模板网

这篇具有很好参考价值的文章主要介绍了论文笔记 Spatial-Temporal Identity: A Simple yet Effective Baseline for Multivariate Time Series Forecas。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

CIKM 2022

1 对之前工作的梳理

多维时间序列（Multivariate Time Series, MTS) 最关键的、区别于其他数据的特点是，这些时间序列之间存在着明显的依赖关系

MTS 预测的关键是：对 MTS 的第 i 条时间序列进行预测的时候，不仅要考虑这第 i 条时间序列的历史信息，也要考虑其他时间序列的历史信息】

以交通领域的MTS为例，在交通系统的图结构中隐含的假设是：靠得越近的传感器（节点），记录下来的时间序列（节点上的值）会比较相似

——>GCN被提了出来

STGCN

交通预测论文笔记：Spatio-Temporal Graph Convolutional Networks: A Deep Learning Frameworkfor Traffic Forecast_spatiotemporal traffic heatmap-CSDN博客

DCRNN

论文笔记：DCRNN （Diffusion Convolutional Recurrent Neural Network: Data-Driven Traffic Forecasting）-CSDN博客

想法其实很简单：将交通系统的每个时刻，建模为车辆沿着路网的扩散过程（Diffusion Process）。
具体的方法是将自己设计的GCN的变体，替换掉GRU内部的全连接层，从而使得GRU可以处理MTS数据。
这种设计方法把GRU打破了，将其内部的全连接进行替换，而非简单堆叠GCN和GRU。
- 这种思路其实最早可能可以追溯到convLSTM：将CNN替换掉LSTM中的全连接层。

论文笔记 Spatial-Temporal Identity: A Simple yet Effective Baseline for Multivariate Time Series Forecas,论文笔记,论文阅读

Graph Wavenet

论文笔记：Graph WaveNet for Deep Spatial-Temporal Graph Modeling_wavenet论文-CSDN博客

结合GCN和TCN

论文笔记 Spatial-Temporal Identity: A Simple yet Effective Baseline for Multivariate Time Series Forecas,论文笔记,论文阅读

在DCRNN和Graph WaveNet这两个里程碑式的时空图神经网络提出后，后续的工作主要分为两个方面：
- 开发新的模型。
  - 把GCN和其他的序列模型、思想结合起来。
    - 借鉴GCN领域的最新成果（新的卷积方式）
    - 结合Attention
    - 结合Transformer
    - 结合Meta-Learning
    - 结合Multi-View Learning
    - 使用层次化视角
    - ...
- 学习图结构。
  - GCN是需要依赖一个预定义图进行卷积操作的。然而，在许多任务中，这个预定义图通常是有偏、有错，甚至直接就是缺失的。
    - 预定义图是不准的、缺失的，因此要自己学习一个潜在图
    - 把交通系统的动态特性加上
    - ...
- 总的来说，模型越来越复杂；同时，变得更加复杂的相关工作，带来的提升其实非常有限

2 重新审视MTS预测

这篇论文从样本的构造方面进行审视和反思。时间序列的样本是从一条原始的时间序列上，用滑动窗口提取的
- 如上图所示，窗口（长度为P+F）分为两部分，前P长度内的数据代表着历史数据（Past），后F长度内的数据代表着未来数据（Future）。
- 他们分别对应着机器学习的Sample和Ground Truth——模型输入前P部分数据，尝试去预测后F部分数据。
- 时间窗口每滑动一次，就会产生一个样本。然后再按照训练、验证、测试去划分
考虑到不同的变量和不同的时期具有不同的模式，论文发现最终会生成许多具有相似历史数据、但不同未来数据的样本
- 空间上的不可区分性
  - - [KDD 2021的论文ST-Norm中，验证了GCN能够起作用就是因为它依靠图结构以及“相邻的节点更相似”基本假设缓解了空间上的不可区分性]
- 时间上的不可区分性

3 论文提出的模型：附加时空信息（Spatial-Temporal IDentity，STID）的模型

时间和空间的不可区分性，直观上说就是预测模型不知道输入的两个几乎一模一样的样本数据，都分别是来自于哪条时间序列、来自于什么时候
- ——>给输入的样本附加身份信息，从而使得模型可以区分这些样本
——>论文设计了一个附加时空信息（Spatial-Temporal IDentity，STID）的模型
- 空间信息
  - 假设有 N 条时间序列，随机初始化一个Embedding矩阵，其中D是Embedding的维度
- time in day时间信息
  - 假设时间序列的是每天采样Nd次得到的，随机初始化一个Embedding矩阵
- day in week时间信息
  - 每周有7天，随机初始化一个Embedding矩阵

论文笔记 Spatial-Temporal Identity: A Simple yet Effective Baseline for Multivariate Time Series Forecas,论文笔记,论文阅读

4 实验

4.1 预测效果

4.2 效率

论文笔记 Spatial-Temporal Identity: A Simple yet Effective Baseline for Multivariate Time Series Forecas,论文笔记,论文阅读

4.3 ablation study

论文笔记 Spatial-Temporal Identity: A Simple yet Effective Baseline for Multivariate Time Series Forecas,论文笔记,论文阅读

4.4 可视化embedding

论文笔记 Spatial-Temporal Identity: A Simple yet Effective Baseline for Multivariate Time Series Forecas,论文笔记,论文阅读文章来源地址https://www.toymoban.com/news/detail-781914.html

空间Embedding出现了明显的聚类趋势
在Time of Day Embedding上，明显地展示了周期性的变化：Embedding最终凑成了一个环，这意味着以“一天“为单位的周期性，而交叉点意味着每天内的相似性，例如早高峰和晚高峰的交通是相似的
Day of Week展示了一周内七天的Embedding可视化结果，可以看到周一到周五比较相似，周六和周日则离它们更远，且周六、周日它们俩也不太靠近

到了这里，关于论文笔记 Spatial-Temporal Identity: A Simple yet Effective Baseline for Multivariate Time Series Forecas的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！