【论文阅读】基于深度学习的时序预测—

这篇具有很好参考价值的文章主要介绍了【论文阅读】基于深度学习的时序预测——Pyraformer。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

系列文章链接
论文一：2020 Informer：长时序数据预测
论文二：2021 Autoformer：长序列数据预测
论文三：2022 FEDformer：长序列数据预测
论文四：2022 Non-Stationary Transformers：非平稳性时序预测
论文五：2022 Pyraformer：基于金字塔图结构的时序预测
论文六：2023 Crossformer：多变量时序预测
论文七：2023 LTSF-Linear：质疑transformer能力的线性预测模型

论文链接：Pyraformer.pdf
github链接：https://github.com/ant-research/Pyraformer
参考解读：https://zhuanlan.zhihu.com/p/467765457

本文是上海交通大学的团队发表的，背景仍然是如何降低计算复杂度&更好地进行长期依赖性关系的表征。本文的创新点主要提现在以下几点：
【论文阅读】基于深度学习的时序预测——Pyraformer,时间序列分析与处理,论文阅读,深度学习,人工智能文章来源地址https://www.toymoban.com/news/detail-641683.html

金字塔注意力机制（Pyramidal Attention Module）：不同于原始的注意力机制，本文采用形似金字塔的图结构对时序数据进行转换，采用这样的结构转换就可以提取当前数据和邻近点位的周期内（尺度内）特性以及长期点位之间的周期间（尺度间）的特性，并且可以提取多层级的多分辨率的特性。对于每个节点而言，可以表示为一个由父节点、自身以及子节点组成的集合：

那对于每个节点而言，不需要对每个点位都去计算对应的注意力，只需要在对应关系内的节点进行运算，降低了计算复杂度；但是在实际计算过程中由于框架（tensorflow和pytorch）的限制，计算复杂度并没有达到预期的 $O (L)$ ，本文针对此进行了技巧设计以减少计算和内存成本；
粗尺度构造模块：对于每个层级的节点而言，从子节点出发，从下至上引入粗尺度的初始化卷积。整个模块的设计是为了降低参数量&计算复杂度（类似残差结构），具体解释写的比较模糊，可以参考代码实现；