这篇文章从 ICLR 2022 的论文投稿中学习下 时间序列 和 图神经网络 相结合的研究趋势，主要包含较为个人关注的两个研究领域融合；然后总结下研究趋势。

首先介绍下 ICLR 会议：

ICLR，全称为 International Conference on Learning Representations（国际学习表征会议），2013年由两位深度学习巨佬、图灵奖得主 Yoshua Bengio 和 Yann LeCun 创办，被认为是“深度学习领域的顶级会议”。ICLR 未在 CCF 推荐会议列表中但被清华推荐为 A 类会议，懂得都懂！🤫

Articles

ICLR 2022 OpenReview 上时间序列相关研究的投稿非常多，主要总结下 ICLR 2022 时间序列和 GNNs 相结合领域的文章列表。

📢 注意目前投稿仅处于 Double-blind Review 阶段并不代表已接收，所以仅能代表大佬们的研究趋势。但接收文章也是从投稿中选择的！🤔

01

论文标题 Evaluating the Robustness of Time Series Anomaly and Intrusion Detection Methods against Adversarial Attacks

涉及领域 时间序列丨异常检测丨入侵检测丨对抗攻击

主要内容 时间序列异常和入侵检测在统计学、经济学和计算机科学中得到广泛研究。多年来，已经提出了许多使用基于深度学习的方法进行时间序列异常和入侵检测的方法。其中许多方法在基准数据集上展示了最先进的性能，给人一种错误的印象，即这些系统在实际和工业场景中是健壮且可部署的。在本文中，我们证明了通过向传感器数据添加对抗性扰动可以轻松欺骗最先进的异常和入侵检测方法。我们在属于航空航天应用、汽车、服务器机器和网络物理系统的几个公共和私有数据集上使用不同的评分指标，例如预测误差、异常和分类分数。我们评估了最先进的深度神经网络 (DNN) 和图神经网络 (GNN) 方法，它们声称对异常和入侵具有鲁棒性，并发现它们的性能在对抗性攻击下可以降至 0% 来自快速梯度符号方法 (FGSM) 和投影梯度下降 (PGD) 方法。据我们所知，我们是第一个展示异常和入侵检测系统对抗对抗性攻击的漏洞的人。代码可见：https://anonymous.4open.science/r/ICLR298

论文地址 https://openreview.net/forum?id=C5u6Z9voQ1

02

论文标题 Spatiotemporal Representation Learning on Time Series with Dynamic Graph ODEs

涉及领域 时序预测丨多元序列丨表示学习

主要内容 多变量时间序列的时空表示学习在预测交通和能源数据方面受到了极大的关注。最近的工作要么依赖于复杂的离散神经架构或图先验，阻碍了它们在现实世界中的有效性和应用。在本文中，受神经常微分方程和图结构学习的启发，我们提出了一个名为 Dynamic Graph ODE (DyG-ODE) 的完全连续模型来捕获远程空间和时间依赖性，以学习任意多元时间序列数据的表达表示不受严格的先决条件（例如，先验图）的限制。为了对时空线索的连续动态进行建模，我们通过耦合所提出的时空 ODE 设计了一个简单而强大的动态图 ODE，这不仅使模型能够获得无限的时空感受野，而且显着降低了数值误差和模型复杂度.我们的实证评估证明了 DyG-ODE 在许多基准数据集上的卓越有效性和效率。

论文地址 https://openreview.net/forum?id=Jh9VxCkrEZn

03

论文标题 Multivariate Time Series Forecasting with Latent Graph Inference

涉及领域 时序预测丨多元序列丨因果推理

主要内容 本文介绍了一种用于多元时间序列预测的新架构，它同时推断和利用时间序列之间的关系。我们将我们的方法作为对单变量架构的模块化扩展，其中在对整个输入信号进行编码后获得的潜在空间中动态推断单个时间序列之间的关系。我们的方法足够灵活，可以根据所考虑的预测任务的需求进行适当的扩展。在其最直接和通用的版本中，我们推断出一个潜在的全连接图来对时间序列之间的相互作用进行建模，与用于预测的最先进的图神经网络相比，这使我们能够获得具有竞争力的预测准确性。此外，虽然以前的潜在图推理方法缩放 O(N^2) w.r.t.节点数 N（代表时间序列），我们展示了如何配置我们的方法来满足现代时间序列面板的规模。通过假设推断图是二部图，其中一个分区由原始 N 个节点组成，我们引入了 K 个节点（从低秩分解中汲取灵感），我们将过程的时间复杂度降低到 O(NK)。这使我们能够利用依赖结构，并在预测准确性方面做出很小的权衡。我们证明了我们的方法对各种数据集的有效性，在完全连接和二分假设下，它比以前的方法表现更好或非常有竞争力。

论文地址 https://openreview.net/forum?id=JpNH4CW_zl

04

论文标题 TAMP-S2GCNets: Coupling Time-Aware Multipersistence Knowledge Representation with Spatio-Supra Graph Convolutional Networks for Time-Series Forecasting

涉及领域 时序预测丨多元序列丨拓扑分析

主要内容 图神经网络 (GNN) 已被证明是一种强大的机制，可用于在多元时空过程中学习复杂的依赖关系。然而，大多数现有的 GNN 具有固有的静态架构，因此，没有明确考虑编码知识的时间依赖性，并且在同时推断实体之间潜在的时间条件关系的能力方面受到限制。我们假设这种隐藏的时间条件属性可以被多重持久性工具捕获，即拓扑数据分析中的一种新兴机制，它允许我们沿着多个几何维度量化数据形状的动态。
我们迈出了整合时间感知深度学习和多持久性两个新兴研究方向的第一步，并提出了一个新模型，时间感知多持久性空间-超图卷积网络（TAMP-S2GCNets）。我们将数据的固有时间条件拓扑属性总结为时间感知多持久性 Euler-Poincar’e 表面并证明其稳定性。然后我们构建了一个超图卷积模块，它同时解释了数据中提取的时空内和时空依赖性。我们对高速公路交通流量、以太坊代币价格和 COVID-19 住院的广泛实验表明，TAMP-S2GCNets 在多元时间序列预测任务中优于最先进的工具。

论文地址 https://openreview.net/forum?id=wv6g8fWLX2q

05

论文标题 Neural graphical modelling in continuous-time: consistency guarantees and algorithms

涉及领域 复杂系统丨结构学习

主要内容 从时间序列数据中发现结构是复杂系统研究领域的一个关键问题。大多数可识别性结果和学习算法都假设潜在的动态在时间上是离散的。相比之下，很少有人在无限小的时间间隔内明确定义依赖关系，而与观察规模和采样规律无关。在本文中，我们考虑基于分数的结构学习来研究动力系统。我们证明，对于在一大类神经网络中参数化的向量场，使用自适应正则化方案的最小二乘优化始终如一地恢复随机微分方程系统中局部独立性的有向图。使用这种见解，我们提出了一种基于惩罚神经常微分方程（对平均过程建模）的基于分数的学习算法，我们证明该算法适用于不规则采样的多元时间序列的一般设置并优于现有技术跨越一系列动态系统。

论文地址 https://openreview.net/forum?id=SsHBkfeRF9L

06

论文标题 Filling the G_ap_s: Multivariate Time Series Imputation by Graph Neural Networks

涉及领域 时序插值丨多元序列

主要内容 在处理来自实际应用程序的数据时，处理缺失值和不完整的时间序列是一项劳动密集型、乏味且不可避免的任务。有效的时空表示将允许插补方法通过利用来自不同位置的传感器的信息来重建丢失的时间数据。然而，标准方法在捕捉互连传感器网络中存在的非线性时间和空间依赖性方面存在不足，并且没有充分利用可用的（通常是强的）相关信息。值得注意的是，大多数基于深度学习的最先进的插补方法都没有明确地对关系方面进行建模，并且在任何情况下都没有利用能够充分表示结构化时空数据的处理框架。相反，图神经网络最近作为用于处理具有关系归纳偏差的序列数据的表达性和可扩展性工具而大受欢迎。在这项工作中，我们在多元时间序列插补的背景下首次评估了图神经网络。特别是，我们引入了一种名为 GRIN 的新型图神经网络架构，旨在通过消息传递学习时空表示来重建多元时间序列不同通道中的缺失数据。实证结果表明，我们的模型在相关现实世界基准的插补任务中优于最先进的方法，平均绝对误差改进通常高于 20%。

论文地址 https://openreview.net/forum?id=kOu3-S3wJ7

07

论文标题 Graph-Guided Network for Irregularly Sampled Multivariate Time Series

涉及领域 时序分类丨时序采样丨多元序列

主要内容 在许多领域，包括医疗保健、生物学和气候科学，时间序列是不规则采样的，连续观察之间的时间可变，并且在不同的时间点观察不同的变量子集（传感器），即使在对齐开始事件之后也是如此。这些数据为假设完全观察和固定长度特征表示的流行模型带来了多重挑战。为了应对这些挑战，必须了解传感器之间的关系以及它们如何随时间演变。在这里，我们介绍了 RAINDROP，这是一种图引导网络，用于学习不规则采样的多元时间序列的表示。 RAINDROP 将每个样本表示为图形，其中节点表示传感器，边表示它们之间的依赖关系。 RAINDROP 使用神经消息传递和时间自注意力来模拟传感器之间的依赖关系。它考虑了跨样本共享的传感器间关系以及每个样本所特有的随时间变化的关系，并根据附近的观察结果自适应地估计未对齐的观察结果。我们使用 RAINDROP 对时间序列进行分类并解释三个医疗保健和人类活动数据集的时间动态。 RAINDROP 优于最先进的方法高达 11.4%（F1 分数中的绝对分数），包括使用固定离散化和集合函数处理不规则采样的方法，甚至在具有挑战性的离开传感器设置和设置中需要推广到新的患者群体。

论文地址 https://openreview.net/forum?id=Kwm8I7dU-l5

08

论文标题 GAETS: A Graph Autoencoder Time Series Approach Towards Battery Parameter Estimation

涉及领域 时间序列丨参数估计丨因果推理

主要内容 锂离子电池正在为正在进行的交通电气化革命提供动力。锂离子电池具有较高的能量密度和良好的电化学性能，使其成为电动汽车的首选能源。精确估计电池参数（充电容量、电压等）对于估计电动汽车的可用范围至关重要。基于图的估计技术使我们能够了解支持它们以改进估计的变量依赖性。在本文中，我们采用图神经网络进行电池参数估计，我们介绍了一种独特的图自动编码器时间序列估计方法。众所周知，电池测量中的变量在某种因果结构中相互之间存在潜在关系。因此，我们将因果结构学习领域的思想作为我们学习的邻接矩阵技术的正则化。我们使用基于 NOTEARS Zheng 等人的非线性版本的图自动编码器。 (2018) 因为这允许我们在学习结构时执行梯度下降（而不是将其视为组合优化问题）。所提出的架构优于最先进的图形时间序列（GTS）Shang 等人。 (2021a) 用于电池参数估计的架构。我们称我们的方法为 GAETS（Graph AutoEncoder Time Series）。

论文地址 https://openreview.net/forum?id=2z5h4hY-LQ

09

论文标题 Graph-Augmented Normalizing Flows for Anomaly Detection of Multiple Time Series

涉及领域 多元序列丨异常检测

主要内容 异常检测是一项广泛研究的任务，适用于各种数据类型；其中，多个时间序列经常出现在应用中，例如电网和交通网络。然而，由于组成序列之间错综复杂的相互依赖性，检测多个时间序列的异常是一个具有挑战性的课题。我们假设异常发生在分布的低密度区域，并探索使用归一化流进行无监督异常检测，因为它们在密度估计方面具有出色的质量。此外，我们通过在组成序列之间施加贝叶斯网络来提出一种新的流模型。贝叶斯网络是一种对因果关系建模的有向无环图 (DAG)；它将序列的联合概率分解为易于评估的条件概率的乘积。我们将这种图形增强归一化流方法称为 GANF，并提出对 DAG 与流参数的联合估计。我们对真实世界的数据集进行了大量实验，并证明了 GANF 在密度估计、异常检测和时间序列分布漂移识别方面的有效性。

论文地址

10

论文标题 Back2Future: Leveraging Backfill Dynamics for Improving Real-time Predictions in Future

涉及领域 时序预测丨流行预测

主要内容 对于公共卫生和宏观经济等领域的实时预测，数据收集是一项艰巨而艰巨的任务。通常在最初发布后，它会在之后进行多次修订（可能由于人为或技术限制）——因此，数据达到稳定值可能需要数周时间。这种所谓的“回填”现象及其对模型性能的影响在先前的文献中几乎没有得到解决。在本文中，我们以 COVID-19 为例介绍了多变量回填问题。我们构建了一个由过去一年大流行的相关信号组成的详细数据集。然后，我们系统地描述了回填动态中的几种模式，并利用我们的观察来制定一个新的问题和神经框架 Back2Future，旨在实时改进给定模型的预测。我们广泛的实验表明，我们的方法改进了用于 COVID-19 预测和 GDP 增长预测的各种顶级模型的性能。具体来说，我们表明 Back2Future 将顶级 COVID-19 模型精炼了 6.65% 至 11.24%，并比非平凡基线提高了 18%。此外，我们表明我们的模型也改进了模型评估；因此，决策者可以更好地实时了解预测模型的真实准确性。

论文地址 https://openreview.net/forum?id=L01Nn_VJ9i

11

论文标题 Causal discovery from conditionally stationary time-series

涉及领域 时间序列丨因果推理

主要内容 因果发现，即从对场景或系统的观察中推断出潜在的因果关系，是人类认知中的一种固有机制，但已被证明对自动化极具挑战性。文献中针对此任务的大多数方法都考虑了具有完全观察变量或来自平稳时间序列的数据的受限场景。在这项工作中，我们的目标是在更一般的场景中发现因果关系，即随着时间的推移具有非平稳行为的场景。出于我们的目的，我们在这里将场景视为随着时间的推移相互交互的合成对象。非平稳性被建模为以潜在变量、状态为条件的平稳性，该状态可以具有不同的维度、或多或少隐藏给定的场景观察，并且也或多或少直接依赖于这些观察。我们提出了一种称为状态相关因果推理 (SDCI) 的概率深度学习方法，用于在这种条件平稳的时间序列数据中发现因果关系。在两种不同的合成场景中的结果表明，即使在具有隐藏状态的情况下，该方法也能够以高精度恢复潜在的因果依赖关系。

论文地址 https://openreview.net/forum?id=q9zIvzRaU94

Thoughts

根据大佬们的投稿中总结下 GNNs + TS 的研究趋势：

  • 多元时序分类丨时序预测丨异常检测：GNNs 在捕获多变量间的关系具有天然的优势，因此在这三项任务中结合是必然且容易考虑到的，主要创新在于如果如何构建多元序列间的关系图和模型的花式组合。
  • 时序数据插值丨预处理：业界时序数据通常存在很多缺失和采样的问题，因此如果需要提高模型效果就必然需要考虑如何提高数据质量。至于从何种角度利用 GNNs 处理同样是一种创新。
  • 时序因果推理丨因果结构学习：这个属于极其有价值但非常难的研究方向。个人觉得难点在于业界时序通常为表象而因果通常为隐变量，直接从表象直接挖掘因果往往较难。所以通过 GNNs 进行关系推理同样成为一种选择，但难以说明是 “casuality” 而非 “correlation”。
  • 单变量时序：目前除了因果推理方向，单变量时序已然难以提起大佬们研究兴趣且业界方案也较为成熟。