ICML 2021丨时间序列相关研究论文汇总

文章系列：

ICML（International Conference on Machine Learning, ICML）是由国际机器学习学会（IMLS）主办的年度机器学习国际顶级会议，是推机器学习领域发展的重要会议，且被中国计算机协会 CCF 推荐为 A类会议。

ICML 2021 的论文接收结果：共有5513篇有效投稿，其中1184篇论文被接收，接收率为21.4%。在被接收论文中，有166篇长文和1018篇短文。

本文先整理下 ICML 2021 Long Representation 中时间序列相关研究成果。

主要方向包括但不局限于以下：时序预测、时序异常检测、时序分类、时序因果分析、多元时序等。

Papers

01

论文标题 Voice2Series: Reprogramming Acoustic Models for Time Series Classification

论文地址 http://proceedings.mlr.press/v139/yang21j.html

源码链接 https://github.com/huckiyang/Voice2Series-Reprogramming

主要内容 学习用有限的数据对时间序列进行分类是一个实际但具有挑战性的问题。当前的方法主要基于手工设计的特征提取规则或特定领域的数据增强。受深度语音处理模型的进步以及语音数据是单变量时间信号这一事实的启发，在本文中，我们提出了 Voice2Serie (V2S)，这是一种新颖的端到端方法，可通过输入转换为时间序列分类重新编程声学模型学习和输出标签映射。利用大规模预训练语音处理模型的表征学习能力，在 31 个不同的时间序列任务上，我们表明 V2S 在 22 个任务上优于或部分采用最先进的方法，并提高了它们的平均准确率1.72%。我们进一步提供了 V2S 的理论依据，证明其种群风险受源风险的上限和 Wasserstein 距离的限制，通过重新编程来解释特征对齐。我们的结果为时间序列分类提供了新的有效方法。

02

论文标题 Neural Rough Differential Equations for Long Time Series

论文地址 http://proceedings.mlr.press/v139/morrill21b.html

源码链接 https://github.com/jambo6/neuralRDEs

主要内容 神经控制微分方程 (CDE) 是循环神经网络的连续时间模拟，就像神经 ODE 是残差网络一样，并提供了一种内存高效的连续时间方法来对潜在不规则时间序列的函数进行建模。用于计算神经 CDE 的前向传递的现有方法涉及将传入的时间序列嵌入到路径空间中，通常通过插值，并使用对该路径的评估来驱动隐藏状态。在这里，我们使用粗糙路径理论来扩展这个公式。我们不是直接嵌入到路径空间中，而是通过其 log-signature 表示小时间间隔内的输入信号，这是描述信号如何驱动 CDE 的统计数据。这是求解粗微分方程（RDE）的方法，相应地，我们将我们的主要贡献描述为引入神经 RDE。这个扩展有一个目的：通过将神经 CDE 方法推广到更广泛的驾驶信号类别，我们展示了处理长时间序列的特殊优势。在这种情况下，我们证明了对长达 17k 观测值的问题的有效性，并观察到与现有方法相比，显着的训练加速、模型性能的改进和内存需求的减少。

03

论文标题 Necessary and sufficient conditions for causal feature selection in time series with latent common causes

论文地址 http://proceedings.mlr.press/v139/mastakouri21a.html

源码链接 暂未开源

主要内容 我们研究了具有潜在变量的时间序列的直接和间接原因的识别，并提供了一种基于约束的因果特征选择方法，我们证明该方法在某些图约束下既合理又完整。我们的理论和估计算法只需要对每个观察到的候选时间序列进行两次条件独立测试，以确定它是否是观察到的目标时间序列的原因。此外，我们对调节集的选择是为了提高信噪比。我们将我们的方法应用于真实数据和广泛的模拟实验，产生非常低的误报率和相对较低的误报率。

04

论文标题 Autoregressive Denoising Diffusion Models for Multivariate Probabilistic Time Series Forecasting

论文地址 http://proceedings.mlr.press/v139/rasul21a.html

源码链接 暂未开源

主要内容 在这项工作中，我们提出了 TimeGrad，这是一种用于多元概率时间序列预测的自回归模型，它通过估计梯度从每个时间步的数据分布中采样。为此，我们使用扩散概率模型，这是一类与分数匹配和基于能量的方法密切相关的潜在变量模型。我们的模型通过优化数据似然的变分界限来学习梯度，并在推理时使用朗之万采样通过马尔科夫链将白噪声转换为感兴趣的分布样本。我们通过实验证明，所提出的自回归去噪扩散模型是对具有数千个相关维度的现实世界数据集进行的最先进的多元概率预测方法。我们希望这种方法对从业者来说是一个有用的工具，并为该领域的未来研究奠定基础。

05

论文标题 Conformal prediction interval for dynamic time-series

论文地址 http://proceedings.mlr.press/v139/xu21h.html

源码链接 https://github.com/hamrel-cxu/EnbPI

主要内容 我们开发了一种为动态时间序列构建无分布预测区间的方法，称为 EnbPI|环绕任何引导集成估计器以构建顺序预测间隔。 EnbPI 与保形预测（CP）框架密切相关，但不需要数据可交换性。从理论上讲，这些区间获得了有限样本、近似有效的边际覆盖范围，适用于广泛类别的回归函数和具有强烈混合随机误差的时间序列。在计算上，EnbPI 避免过拟合，既不需要数据分割，也不需要训练多个集成估计器；它有效地聚合了经过训练的引导估计器。一般来说，EnbPI 易于实现，可扩展以按顺序生成任意多个预测区间，并且非常适合各种回归函数。我们执行广泛的真实数据分析以证明其有效性。

06

论文标题 Z-GCNETs: Time Zigzags at Graph Convolutional Networks for Time Series Forecasting

论文地址 http://proceedings.mlr.press/v139/chen21o.html

源码链接 https://github.com/Z-GCNETs/Z-GCNETs

主要内容 最近，人们对开发一类新的深度学习 (DL) 架构产生了浓厚的兴趣，该架构将显式时间维度集成为学习和表示机制的基本构建块。反过来，最近的许多结果表明，观测数据的拓扑描述符，在不同尺度的拓扑空间中编码数据集形状的信息，即数据的持久同源性，可能包含重要的补充信息，提高性能和DL 的鲁棒性。作为这两种新兴思想的融合，我们建议使用数据中最显着的时间条件拓扑信息来增强 DL 架构，并将锯齿形持久性的概念引入时间感知图卷积网络 (GCN)。之字形持久性提供了一个系统的、数学上严格的框架来跟踪观察到的数据的最重要的拓扑特征，这些特征往往会随着时间的推移而显现出来。为了将提取的时间条件拓扑描述符集成到深度学习中，我们开发了一个新的拓扑摘要，锯齿形持久图像，并推导出其理论稳定性保证。我们使用时间感知之字形拓扑层 (Z-GCNET) 验证新 GCN，以应用于流量预测和以太坊区块链价格预测。我们的结果表明，Z-GCNET 在 4 个时间序列数据集上优于 13 种最先进的方法。

07

论文标题 End-to-End Learning of Coherent Probabilistic Forecasts for Hierarchical Time Series

论文地址 http://proceedings.mlr.press/v139/rangapuram21a.html

源码链接 https://github.com/awslabs/gluon-ts

主要内容 本文提出了一种分层时间序列预测的新方法，该方法无需任何明确的后处理协调即可产生连贯的概率预测。与最先进的方法不同，所提出的方法同时从层次结构中的所有时间序列中学习，并将协调步骤合并到一个可训练的模型中。这是通过应用重新参数化技巧并将协调转换为具有封闭形式解决方案的优化问题来实现的。这些模型特征使分层预测的端到端学习成为可能，同时完成生成概率性和连贯性预测的挑战性任务。重要的是，我们的方法还适应一般聚合约束，包括分组和时间层次结构。对现实世界分层数据集的广泛实证评估证明了所提出的方法相对于最先进的方法的优势。

08

论文标题 Approximation Theory of Convolutional Architectures for Time Series Modelling

论文地址 http://proceedings.mlr.press/v139/jiang21d.html

源码链接 暂未开源

主要内容 我们研究了应用于时间序列建模的卷积架构的逼近特性，这可以在数学上表述为函数逼近问题。在循环设置中，最近的结果揭示了数据生成过程中近似效率和内存结构之间的错综复杂的联系。在本文中，我们推导出卷积架构的并行结果，WaveNet 是一个主要示例。我们的结果表明，在这种新设置中，逼近效率不仅以记忆为特征，还以目标关系中的其他精细结构为特征。这导致了基于频谱的规律性的新定义，该定义在卷积近似方案下测量时间关系的复杂性。这些分析为理解时间序列建模的架构选择之间的差异奠定了基础，并且可以为实际应用提供理论指导。

09

论文标题 Whittle Networks: A Deep Likelihood Model for Time Series

论文地址 http://proceedings.mlr.press/v139/yu21c.html

源码链接 https://github.com/ml-research/WhittleNetworks

主要内容 虽然已经对表格数据广泛探索了概率电路，但对时间序列的关注较少。在这里，目标是估计整个时间序列之间的联合密度，进而确定它们之间的条件独立关系。为此，我们提出了第一个概率电路 (PC) 方法，用于对多元时间序列的联合分布进行建模，称为惠特尔和积网络 (WSPN)。 WSPN 利用惠特尔近似，在频域中投射可能性，并在频率上放置一个复值和积网络，即最突出的 PC。然后可以在谱域中有效地确定时间序列之间的条件独立关系。此外，WSPN 可以自然地放入时间序列的深度神经学习堆栈中，从而产生 Whittle Networks，打开用于训练深度神经模型并检查其行为的似然工具箱。我们的实验表明，惠特尔网络确实可以捕获时间序列之间的复杂依赖关系，并为神经网络提供一种有用的不确定性度量。

10

论文标题 Explaining Time Series Predictions with Dynamic Masks

论文地址 http://proceedings.mlr.press/v139/crabbe21a.html

源码链接 https://github.com/JonathanCrabbe/Dynamask

主要内容 我们如何解释机器学习模型的预测？当数据被构造为多元时间序列时，这个问题会引起额外的困难，例如解释需要体现时间依赖性和大量输入。为了应对这些挑战，我们提出了动态掩码（Dynamask）。该方法通过将扰动掩码拟合到输入序列，在每个时间步为每个特征生成实例重要性分数。为了结合数据的时间依赖性，Dynamask 研究了动态扰动算子的影响。为了处理大量输入，我们提出了一种方案，使特征选择变得简约（选择不需要的特征）和易读的（我们通过与信息论进行平行来详细说明的概念）。通过合成和真实世界的数据，我们证明了 Dynamask 的动态基础及其简约性，随着时间的推移，在识别特征重要性方面提供了巧妙的改进。 Dynamask 的模块化使其成为理想的插件，可以在时间序列丰富的医学和金融等领域增加各种机器学习模型的透明度。