【论文阅读】基于深度学习的时序预测——FEDformer

这篇具有很好参考价值的文章主要介绍了【论文阅读】基于深度学习的时序预测——FEDformer。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

系列文章链接
论文一:2020 Informer:长时序数据预测
论文二:2021 Autoformer:长序列数据预测
论文三:2022 FEDformer:长序列数据预测
论文四:2022 Non-Stationary Transformers:非平稳性时序预测
论文五:2022 Pyraformer:基于金字塔图结构的时序预测
论文六:2023 Crossformer:多变量时序预测
论文七:2023 LTSF-Linear:质疑transformer能力的线性预测模型

论文地址:https://arxiv.org/abs/2201.12740
github地址:https://github.com/MAZiqing/FEDformer
参考解读:【ICML 2022】时间序列预测——FEDformer (Frequency Enhanced Decomposed Transformer)
快速傅立叶变换:快速傅立叶变换

本文是阿里达摩院的一篇文章,也是针对长序列预测的,文章背景有以下几点:

  1. 从前人的研究就可以看出,大部分研究都在考虑如何降低模型的计算复杂度,因为transformer的二次计算会导致过高的计算复杂度;
  2. 之前的研究都没有关注到时序数据的全局信息,但其实这是很重要的一点(Autoformer开始考虑时间序列分解的季节性&趋势分布序列);
    【论文阅读】基于深度学习的时序预测——FEDformer,时间序列分析与处理,论文阅读,深度学习,人工智能

整体架构感觉和Autoformer有点类似,但是细节层面上的创新点主要体现在以下几个方面:文章来源地址https://www.toymoban.com/news/detail-642540.html

  • 频域时间序列表征(Compact Representation in Frequency Domain):采用傅立叶变换将时序数据转换到频域是比较常见的做法,这样能够更好地提取时序数据中的长期规律性特征;但是如果保留所有的频率分量会有很多噪声信息,因为很多高频分量都是噪声引起的,但是也不能仅保留低频分量,因为部分高频分量能够体现时序数据的分布趋势;对于时间序列 X = [ x 1 , . . . , x d ] X=[x_1,...,x_d] X=[x1,...,xd],采用FFT将序列转换成频域表示 A = [ a 1 , . . . , a m ] ∈ R m ∗ d A=[a_1,...,a_m]\in \mathbb{R}^{m*d} A=[a1,...,am]Rmd,虽然所有的频域表征能够充分表示数据信息,但是会存在很多冗余信息,所以问题提出了一种随机频域信息选择的方法,在每个频域表示的 d d d维数据中随机选择 s s s维作为代表( s < d s<d s<d),文中提到一个理论说明验证了这种随机选择后的表征信息量接近于原始表征,因此可以通过这种方式来简化计算。
    【论文阅读】基于深度学习的时序预测——FEDformer,时间序列分析与处理,论文阅读,深度学习,人工智能如上图所示,先将时序数据 x x x通过多层感知机进行线性表征转换得到 q = x ∗ w q=x*w q=xw,然后采用傅立叶变换将数据转换成 Q Q Q,再进行随机采样得到 Q ~ \widetilde{Q} Q ,然后采用一个随机初始化的矩阵 R R R转换得到 Y ^ \hat{Y} Y^,在转换回时域前进行padding,最后进行逆变换从频域转换回时域;
    【论文阅读】基于深度学习的时序预测——FEDformer,时间序列分析与处理,论文阅读,深度学习,人工智能
    在注意力机制运算中,仅计算随机选择后的注意力分布,能够简化计算;
  • 基于小波变换的频域增强模块:采用小波变换对序列进行分解,得到高频张量表示 U d ( L ) Ud(L) Ud(L)、低频张量 U s ( L ) Us(L) Us(L)和原始低频张量 X ( L + 1 ) X(L+1) X(L+1),然后基于三个分解数据进行重构,得到新的处理后的数据,细节不展开;
    【论文阅读】基于深度学习的时序预测——FEDformer,时间序列分析与处理,论文阅读,深度学习,人工智能
    本文两个创新点的思路都是进行分解,然后进行数据重构。

到了这里,关于【论文阅读】基于深度学习的时序预测——FEDformer的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 论文笔记-时序预测-FEDformer

    论文标题:FEDformer: Frequency Enhanced Decomposed Transformer for Long-term Series Forecasting 论文链接: https://arxiv.org/abs/2201.12740 代码链接: https://github.com/DAMO-DI-ML/ICML2022-FEDformer 尽管基于变压器的方法显著改善了长期序列预测的最新结果,但它们不仅计算成本高,更重要的是,无法捕捉时

    2023年04月10日
    浏览(34)
  • 【论文阅读】基于深度学习的时序异常检测——TimesNet

    系列文章链接 参考数据集讲解:数据基础:多维时序数据集简介 论文一:2022 Anomaly Transformer:异常分数预测 论文二:2022 TransAD:异常分数预测 论文三:2023 TimesNet:基于卷积的多任务模型 论文链接:TimesNet.pdf 代码库链接:https://github.com/thuml/Time-Series-Library 项目介绍:https

    2024年02月13日
    浏览(51)
  • 【论文阅读】基于深度学习的时序异常检测——TransAD

    系列文章链接 数据解读参考:数据基础:多维时序数据集简介 论文一:2022 Anomaly Transformer:异常分数预测 论文二:2022 TransAD:异常分数预测 论文三:2023 TimesNet:基于卷积的多任务模型 论文链接:TransAD.pdf 代码库链接:https://github.com/imperial-qore/TranAD 这篇文章是基于多变量数

    2024年02月14日
    浏览(66)
  • 【论文阅读】基于深度学习的时序异常检测——Anomaly Transformer

    系列文章链接 数据解读参考:数据基础:多维时序数据集简介 论文一:2022 Anomaly Transformer:异常分数预测 论文二:2022 TransAD:异常分数预测 论文三:2023 TimesNet:基于卷积的多任务模型 论文链接:Anomaly Transformer.pdf 代码链接:https://github.com/thuml/Anomaly-Transformer 视频讲解(原

    2024年02月14日
    浏览(35)
  • 基于机器学习/深度学习的时间序列分析相关论文

    Robust Time Series Analysis and Applications: An Industrial Perspective, in  KDD  2022. Time Series in Healthcare: Challenges and Solutions, in  AAAI  2022. [[Link]](https://www.vanderschaar-lab.com/time-series-in-healthcare/) Time Series Anomaly Detection: Tools, Techniques and Tricks, in  DASFAA  2022. [[Link]](https://www.dasfaa2022.org//tutorials/T

    2024年02月13日
    浏览(49)
  • 长时序预测的最新模型--FEDformer详细讲解记录版

    Informer 代码源码算比较简单的了,比如三维重建这些才是真的复杂的。 版本一般向下兼容,不建议一个项目一个环境,先缺啥补啥,都是可以实现的。 GitHub官网链接地址即可下载,查看各数据的格式与参数,作者的开源比较完备,包含ETT(变压器温度)、ECL(耗电量)和W

    2024年02月09日
    浏览(36)
  • 时序预测 | MATLAB实现ELM极限学习机时间序列预测未来

    预测效果 基本介绍 1.MATLAB实现ELM极限学习机时间序列预测未来; 2.运行环境Matlab2018及以上,data为数据集,单变量时间序列预测,运行主程序ELMTSF即可,其余为函数文件,无需运行; 3.递归预测未来数据,可以控制预测未来大小的数目,适合循环性、周期性数据预测; 4.命令

    2024年02月09日
    浏览(46)
  • 时序预测 | MATLAB实现基于RF随机森林的时间序列预测-递归预测未来(多指标评价)

    预测结果 基本介绍 MATLAB实现基于RF随机森林的时间序列预测-递归预测未来(多指标评价) 1.MATLAB实现基于RF随机森林的时间序列预测-递归预测未来(多指标评价); 2.运行环境Matlab2018及以上,data为数据集,单变量时间序列预测; 3.递归预测未来数据,可以控制预测未来大小的数

    2024年02月12日
    浏览(43)
  • 时序预测 | MATLAB实现基于PSO-BiLSTM、BiLSTM时间序列预测对比

    效果一览 基本描述 MATLAB实现基于PSO-BiLSTM、BiLSTM时间序列预测对比。 1.Matlab实现PSO-BiLSTM和BiLSTM神经网络时间序列预测; 2.输入数据为单变量时间序列数据,即一维数据; 3.运行环境Matlab2020及以上,依次运行Main1BiLSTMTS、Main2PSOBiLSTMTS、Main3CDM即可,其余为函数文件无需运行,所有

    2024年02月11日
    浏览(51)
  • 时序预测 | MATLAB实现基于PSO-GRU、GRU时间序列预测对比

    效果一览 基本描述 MATLAB实现基于PSO-GRU、GRU时间序列预测对比。 1.MATLAB实现基于PSO-GRU、GRU时间序列预测对比; 2.输入数据为单变量时间序列数据,即一维数据; 3.运行环境Matlab2020及以上,依次运行Main1GRUTS、Main2PSOGRUTS、Main3CDM即可,其余为函数文件无需运行,所有程序放在一个

    2024年02月10日
    浏览(44)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包