Deep Learning for Spatio-Temporal Data Mining: A Survey
被引用次数:392
[Submitted on 11 Jun 2019 (v1), last revised 24 Jun 2019 (this version, v2)]
主要内容: 该论文是一篇关于深度学习在时空数据挖掘中的应用的综述。论文首先介绍了时空数据挖掘的背景和意义,然后详细介绍了深度学习在时空数据挖掘中的应用,包括卷积神经网络(CNN)、循环神经网络(RNN)等模型在时空数据中的特征学习、时空数据的表示方法、时空数据的预测和分类等任务。此外,论文还介绍了一些深度学习在时空数据挖掘中的应用案例,如交通流量预测、犯罪预测等。
Ⅰ. introduction
-
介绍了时空数据挖掘的背景和意义
- 时空数据挖掘是指从时空数据中发现有用的知识和模式的过程。
- 时空数据挖掘在很多领域都有应用,如交通、气象、医疗等,可以帮助人们更好地理解和预测现象。
-
传统数据挖掘方法在处理时空数据时的局限性。
- 随着时空数据集的数量、体积和分辨率的迅速增加,传统的数据挖掘方法,特别是基于统计的方法,已经无法处理这些数据。
因此,深度学习技术的发展为时空数据挖掘提供了新的机会和挑战。
Ⅱ. categorization of spatio-temporal data
- 数据类型
- 点数据
- 线数据
- 面数据
- 数据来源
- 传感器数据
- 人工采集数据
- 模拟数据
- 数据表示
- 矢量数据
- 栅格数据
Ⅲ. Framework
- ADAIN model :包括了多源数据的特征提取和融合、FNN和RNN模型的特征学习、全连接层的预测等步骤。
- ST-ResNet : 基于残差神经网络,用于预测城市中每个区域的人流量。该模型框架包括了外部特征和人流量数据的特征提取和融合、残差神经网络的特征学习等步骤。
Ⅳ. Deep Learning Models for addressing different STDM problems
主要介绍了基于深度学习模型解决不同时空数据管理问题的方法。
- 首先将时空数据管理问题分为不同的类别,包括预测、表示学习、检测、分类、推断/估计、推荐等。
- 介绍了针对不同类别问题所提出的深度学习模型,包括卷积神经网络、循环神经网络、自编码器、生成对抗网络等。
- 总结了当前深度学习模型在不同领域的应用,包括交通、气候和天气、人类移动性、基于位置的社交网络、犯罪分析和神经科学等。
Ⅴ. Applications
- 交通流量预测
- 按需服务
- 气候/天气
- 人流预测
- 基于位置的社交网络(LBSN)
- 犯罪预测
- 神经科学
Ⅵ. Open Problem
- 模型可解释性
- 深度学习模型选择
- STDM任务的扩展应用
- ST数据集多模态融合
Spatio-Temporal Data Mining: A Survey of Problems and Methods
被引用次数:418
[Submitted on 13 Nov 2017 (v1), last revised 17 Nov 2017 (this version, v2)]
问题&方法
- 1.轨迹模式挖掘
- 基于聚类的方法:基于密度聚类、基于网络聚类、基于子轨迹聚类
- 基于序列模式挖掘的方法:频繁序列挖掘、序列聚类
- 基于分类的方法:基于决策树分类、基于SVM分类
- 基于关联规则方法:频繁模式挖掘、关联规则挖掘
- 2.时空聚类
- 传统聚类方法:K-means、层次聚类、共享最近邻聚类、归一化割聚类
- 混合模型方法:高斯混合模型、隐马尔可夫模型
- 密度聚类方法:DBSCAN聚类、OPTICS聚类
- 基于图的聚类方法:谱聚类,模块度最优化聚类
- 基于子序列聚类方法:基于动态时间规整的子序列聚类
- 3.时空分类
- 基于统计学习的方法:支持向量机、决策树、随机森林
- 基于聚类的方法:K-mean聚类、层次聚类、DBSCAN聚类
- 基于贝叶斯网络的方法:动态贝叶斯网络、半马尔可夫决策过程
- 基于规则的方法:分类规则、关联规则
- 基于神经网络的方法:卷积神经网络、循环神经网络
- 4.时空关联规则挖掘
- 基于时空窗口的方法:滑动时空窗口、固定时空窗口
- 基于序列模式挖掘的方法:频繁序列挖掘、序列聚类
- 基于关联规则挖掘的方法:频繁模式挖掘、关联规则挖掘
- 5.时空异常检测
- 基于统计学习的方法:支持向量机、随机森林、神经网络
- 基于聚类的方法:K-means、DBSCAN聚类
- 基于密度的方法:LOF、OPTICS
- 基于时空窗口的方法:滑动时空窗口、固定时空窗口
- 基于时空关联规则的方法:时空关联规则挖掘
- 6.时空预测
- 基于时间序列的方法:ARIMA模型、指数平滑模型、状态空间模型
- 基于回归的方法:线性回归、岭回归、Lasso回归
- 基于机器学习的方法:支持向量机、随机森林、神经网络
- 基于时空关联规则的方法:时空关联规则挖掘
- 基于深度学习的方法:卷积神经网络、循环神经网络
Transformers in Time Series: A Survey
被引用次数:188
[Submitted on 15 Feb 2022 (v1), last revised 11 May 2023 (this version, v5)]
主要内容
本论文是一篇关于时间序列Transformer的综述,系统地回顾了Transformer在时间序列建模中的应用。论文首先介绍了Transformer的基本概念,然后从网络修改和应用领域的角度提出了一个新的分类法。在网络修改方面,论文讨论了对Transformer进行的低层次(即模块)和高层次(即架构)的改进,以优化时间序列建模的性能。在应用方面,论文分析和总结了用于流行的时间序列任务(包括预测、异常检测和分类)的Transformer。对于每个时间序列Transformer,论文分析了其见解、优点和局限性。为了提供有效使用Transformer进行时间序列建模的实用指南,论文进行了广泛的实证研究,包括鲁棒性分析、模型大小分析和季节趋势分解分析。最后,论文讨论了时间序列Transformer的未来发展方向。
主要贡献
本论文的主要贡献在于系统地回顾了Transformer在时间序列建模中的应用,提出了一个新的分类法,并分析了每个时间序列Transformer的见解、优点和局限性。此外,论文还进行了广泛的实证研究,为使用Transformer进行时间序列建模提供了实用指南。
网络修改方面的改进
- 位置编码:将输入时间序列的位置信息编码为向量,并注入到模型中作为一个额外的输入。
- 门控线性单元:GLU可以在Transformer中引入非线性性,从而提高模型的表达能力。
- 多层感知机:可以使用MLP来提高模型的表达能力。
- 自适应注意力(Adaptive Attention):可以根据输入序列的特征自适应地调整注意力权重,从而提高模型的性能。
- 时间卷积(Temporal Convolution):可以提高模型的表达能力。
- 时序卷积网络(Temporal Convolutional Networks,TCN)
- 时序自注意力(Temporal Self-Attention)
Table 1: Complexity comparisons of popular time series Transformers with different attention modules.
Training | Testing | ||
---|---|---|---|
Methods | Time | Memory | Steps |
Transformer | O(N^2) | O(N^2) | N |
LogTrans | O(NlogN) | O(NlogN) | 1 |
Informer | O(NlogN) | O(NlogN) | 1 |
Autoformer | O(NlogN) | O(NlogN) | 1 |
Pyraformer | O(N) | O(N) | 1 |
Quatformer | O(2cN) | O(2cN) | 1 |
FEDformer | O(N) | O(N) | 1 |
Crossformer | O(DN^2/(Lseg^2)) | O(N) | 1 |
Spatio-Temporal Graph Neural Networks for Predictive Learning in Urban Computing: A Survey
被引用次数:9
[Submitted on 25 Mar 2023 (v1), last revised 27 Apr 2023 (this version, v2)]
本文的主要内容是关于Spatio-Temporal Graph Neural Networks(STGNN)在城市计算中的预测学习应用。文章介绍了STGNN技术的基本原理、应用场景、算法模型和实验结果,并探讨了STGNN在城市交通、气象预测、社交网络等领域的应用前景。
STGNN应用于城市计算
STGNN基本原理
将图神经网络(GNNs)和各种时间学习方法相结合,以提取复杂的时空依赖关系。具体来说,STGNN通过构建时空数据,将空间信息和时间信息相结合,然后使用GNNs对空间信息进行建模,使用时间学习方法对时间信息进行建模,最后将两者结合起来,以实现对复杂时空依赖关系的建模和预测。文章来源:https://www.toymoban.com/news/detail-676583.html
基本架构
- GNN
- Spectral Graph Convolutional Network
- Spatial Graph Convolutional Network
- Graph Attention Network
- Recurrent Neural Networks
- Long-Short Term Memory Network
- Gated Recurrent Unit Network
- Temporal Convolutional Netowrks
- Gated Temporal Convolutional Network
- Causal Temporal Convolutional Network
- Temporal Self-Attention Networks
- Spatio-Temporal Fusion Neural Architecture
- Factorized Neural Architecture
- Coupled Neural Architecture
文章来源地址https://www.toymoban.com/news/detail-676583.html
应用场景
- 交通方面
- 交通需求预测
- 交通意外预测
- 交通用时预测
- 交通轨迹预测
- 环境方面
- 空气质量预测
- 气候预测
- 公共安全方面
- 犯罪频率预测
- 灾难方位预测
- 公共健康方面
- 传染病预测
- 救护车需求预测
- 其他应用领域:能源、经济、金融、生产
STGNN变体
- 空间学习方法
- Multi-Graph Convolution
- Adaptive Graph Learning
- Muti-Scale Spatial Learning
- Heterogeneous spatial learning
- 时间学习方法
- Multi-Scale Temporal Learning
- Multi-Granularity Temporal Learning
- Decomposition Temporal Learning
- 时空融合方法
- Spatio-Temporal Joint Modeling
- Automated Spatio-Temporal Fusion
先进学习框架
- Adversarial Learning
- Meta Learning
- Self-Supervised Learning
- Continuous Spatio-Temporal modeling
- Physics-Informed Learning
- Transfer Learning
到了这里,关于【论文笔记】最近看的时空数据挖掘综述整理8.27的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!