论文标题丨Pyraformer: Low-Complexity Pyramidal Attention for Long-Range Time Series Modeling and Forecasting
论文来源丨ICLR 2022 (Oral)
论文链接丨https://openreview.net/forum?id=0EXmFzUn5I
源码链接丨暂未开源

TL;DR

为了捕获长时间序列的时序依赖特征且模型达到低的时空复杂度，这篇论文中提出基于金字塔注意力机制 (Pyramidal Attention Module,Pyramidal) 的 Transformer 模型 Pyraformer。PAM 模块中：inter-scale tree structure 是为了总结不同尺度的特征，intra-scale neighboring connections 是为了对不同范围的时序依赖进行建模。实验结果证明 Pyraformer 可以达到较高的预测准确率且时空复杂度较低。

Algorithm/Model

关键概念：如何度量时间序列模型捕获的长范围 long-range 依赖特征？

The length of the longest signal traversing path between any two positions in time series.

The shorter the path, the better the dependencies are captured.

评价各个模型的复杂度，略纠结路径标准；

Pyraformer 模型

Experiments

  • 单步预测

  • 多步预测

Thoughts

将计算机视觉中的金字塔注意力模块迁移到时间序列模型中。