【论文阅读】基于深度学习的时序预测——Pyraformer

这篇具有很好参考价值的文章主要介绍了【论文阅读】基于深度学习的时序预测——Pyraformer。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

系列文章链接
论文一:2020 Informer:长时序数据预测
论文二:2021 Autoformer:长序列数据预测
论文三:2022 FEDformer:长序列数据预测
论文四:2022 Non-Stationary Transformers:非平稳性时序预测
论文五:2022 Pyraformer:基于金字塔图结构的时序预测
论文六:2023 Crossformer:多变量时序预测
论文七:2023 LTSF-Linear:质疑transformer能力的线性预测模型

论文链接:Pyraformer.pdf
github链接:https://github.com/ant-research/Pyraformer
参考解读:https://zhuanlan.zhihu.com/p/467765457

本文是上海交通大学的团队发表的,背景仍然是如何降低计算复杂度&更好地进行长期依赖性关系的表征。本文的创新点主要提现在以下几点:
【论文阅读】基于深度学习的时序预测——Pyraformer,时间序列分析与处理,论文阅读,深度学习,人工智能文章来源地址https://www.toymoban.com/news/detail-641683.html

  1. 金字塔注意力机制(Pyramidal Attention Module):不同于原始的注意力机制,本文采用形似金字塔的图结构对时序数据进行转换,采用这样的结构转换就可以提取当前数据和邻近点位的周期内(尺度内)特性以及长期点位之间的周期间(尺度间)的特性,并且可以提取多层级的多分辨率的特性。对于每个节点而言,可以表示为一个由父节点、自身以及子节点组成的集合:【论文阅读】基于深度学习的时序预测——Pyraformer,时间序列分析与处理,论文阅读,深度学习,人工智能
    【论文阅读】基于深度学习的时序预测——Pyraformer,时间序列分析与处理,论文阅读,深度学习,人工智能
    那对于每个节点而言,不需要对每个点位都去计算对应的注意力,只需要在对应关系内的节点进行运算,降低了计算复杂度;但是在实际计算过程中由于框架(tensorflow和pytorch)的限制,计算复杂度并没有达到预期的 O ( L ) O(L) O(L),本文针对此进行了技巧设计以减少计算和内存成本;
    【论文阅读】基于深度学习的时序预测——Pyraformer,时间序列分析与处理,论文阅读,深度学习,人工智能
  2. 粗尺度构造模块:对于每个层级的节点而言,从子节点出发,从下至上引入粗尺度的初始化卷积。整个模块的设计是为了降低参数量&计算复杂度(类似残差结构),具体解释写的比较模糊,可以参考代码实现;
    【论文阅读】基于深度学习的时序预测——Pyraformer,时间序列分析与处理,论文阅读,深度学习,人工智能

到了这里,关于【论文阅读】基于深度学习的时序预测——Pyraformer的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 【论文阅读】基于深度学习的时序异常检测——TimesNet

    系列文章链接 参考数据集讲解:数据基础:多维时序数据集简介 论文一:2022 Anomaly Transformer:异常分数预测 论文二:2022 TransAD:异常分数预测 论文三:2023 TimesNet:基于卷积的多任务模型 论文链接:TimesNet.pdf 代码库链接:https://github.com/thuml/Time-Series-Library 项目介绍:https

    2024年02月13日
    浏览(33)
  • 【论文阅读】基于深度学习的时序异常检测——TransAD

    系列文章链接 数据解读参考:数据基础:多维时序数据集简介 论文一:2022 Anomaly Transformer:异常分数预测 论文二:2022 TransAD:异常分数预测 论文三:2023 TimesNet:基于卷积的多任务模型 论文链接:TransAD.pdf 代码库链接:https://github.com/imperial-qore/TranAD 这篇文章是基于多变量数

    2024年02月14日
    浏览(36)
  • 【论文阅读】基于深度学习的时序异常检测——Anomaly Transformer

    系列文章链接 数据解读参考:数据基础:多维时序数据集简介 论文一:2022 Anomaly Transformer:异常分数预测 论文二:2022 TransAD:异常分数预测 论文三:2023 TimesNet:基于卷积的多任务模型 论文链接:Anomaly Transformer.pdf 代码链接:https://github.com/thuml/Anomaly-Transformer 视频讲解(原

    2024年02月14日
    浏览(25)
  • 论文阅读——基于深度学习智能垃圾分类

    B. Fu, S. Li, J. Wei, Q. Li, Q. Wang and J. Tu, “A Novel Intelligent Garbage Classification System Based on Deep Learning and an Embedded Linux System,” in IEEE Access, vol. 9, pp. 131134-131146, 2021, doi: 10.1109/ACCESS.2021.3114496. 垃圾数量的急剧增加和垃圾中物质的复杂多样性带来了严重的环境污染和资源浪费问题。回收

    2024年02月11日
    浏览(30)
  • 论文阅读-基于深度学习的多模态情感分析研究综述

    非核心 原文链接:基于深度学习的多模态情感分析研究综述 - 中国知网 (cnki.net) 深度学习完成多模态情感分析综述。主要介绍 多模态情感分析 的概念、背景、意义。总结了 多模态融合技术和交互技术 ,讨论多模态情感分析 未来发展 。 目前经典的多模态情感分析研究已经

    2024年02月04日
    浏览(32)
  • 论文阅读:基于深度学习的大尺度遥感图像建筑物分割研究

    一、该网络中采用了上下文信息捕获模块。通过扩大感受野,在保留细节信息的同时,在中心部分进行多尺度特征的融合,缓解了传统算法中细节信息丢失的问题;通过自适应地融合局部语义特征,该网络在空间特征和通道特征之间建立长距离的依赖关系; 二、分割网络:边

    2024年02月15日
    浏览(33)
  • 论文阅读-2:基于深度学习的大尺度遥感图像建筑物分割研究

    一、该网络中采用了上下文信息捕获模块。通过扩大感受野,在保留细节信息的同时,在中心部分进行多尺度特征的融合,缓解了传统算法中细节信息丢失的问题;通过自适应地融合局部语义特征,该网络在空间特征和通道特征之间建立长距离的依赖关系; 二、分割网络:边

    2024年02月16日
    浏览(33)
  • 【论文阅读】一种基于图深度学习的互联网通信故障检测与定位方法

    论文原文:A Graph Deep Learning-Based Fault Detection and Positioning Method for Internet Communication Networks 一种基于图深度学习的 互联网通信故障检测与定位方法         新一代互联网在现代社会中,互联网接入的规模正在逐渐扩大。根据深度学习IC发布的最新报告,近一半已经成为网民

    2024年04月08日
    浏览(42)
  • 【论文阅读】xNIDS:可解释的基于深度学习的网络入侵检测系统的主动入侵响应(USENIX-2023)

      基于深度学习的网络入侵检测系统(DL-NIDS)得到了显著的探索,并显示出卓越的性能,但存在两个问题: 检测结果和可操作的解释之间存在语义差距,不足以对检测到的入侵作出积极的回应 高错误成本使网络运营商不愿意仅仅根据检测结果做出反应(即高误报带来的警

    2024年02月05日
    浏览(32)
  • [论文阅读]CWD——基于稠密预测的通道式知识蒸馏

    基于稠密预测的通道式知识蒸馏 论文网址:CWD 这篇论文「Channel-wise Knowledge Distillation for Dense Prediction」提出了一种针对密集预测任务的基于通道的知识蒸馏方法。下面我详细讲解该方法的主要内容: 问题背景 在计算机视觉任务中,图像分类只需要预测整张图像的类别,而密集预

    2024年01月16日
    浏览(26)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包