2022 时间序列领域相关顶会！

• 时间序列分类与预测：3篇

• 时间序列检测：2篇

• 时间序列聚类：1篇

• 时间序列补全：1篇

• 时间神经网络：4篇

• 时间损失函数：4篇

• 时间表示与分析: 3篇

• 时空分析·预测：5篇

• 时空分析·知识表达：6篇

• 序列与推荐：2篇

  
  

时序预测与分类是时间序列领域的经典问题。本次AAAI带来了3篇研究，内容包括：多维预测、强化学习、时序生成方向的研究：

Reinforcement Learning based Dynamic Model Combination for Time Series Forecasting

论文地址：https://arxiv.org/abs/2022.01846

研究方向：强化学习+时序预测

论文摘要：随着智能电网技术的日益普及，短期负荷预测（STLF）在电力系统运行中变得尤为重要。为 STLF 开发了大量方法，但在不同条件下选择合适的方法仍然具有挑战性。本文开发了一种新的基于强化学习的 STLF 动态模型选择 (DMS) 方法。首先建立了一个预测模型池，包括十个基于机器学习的最先进的预测模型。然后，Q 学习代理根据模型性能学习为下一个时间步长选择最佳预测模型的最优策略。应用最优 DMS 策略以在每个时间步选择具有移动窗口的最佳模型。对两年负载和天气数据的数值模拟表明，Q-learning 算法收敛速度快，产生了有效且高效的 DMS。与最先进的基于机器学习的 STLF 模型相比，开发的基于 Q 学习的 DMS 的 STLF 模型将预测精度提高了大约 50%。

Conditional Loss and Deep Euler Scheme for Time Series Generation

论文地址：https://arxiv.org/abs/2102.05313v5

研究方向：时序生成

论文摘要：我们为时间序列引入了三个新的生成模型，这些模型基于随机微分方程 (SDE) 的欧拉离散化和 Wasserstein 度量。其中两种方法依赖于生成对抗网络 (GAN) 对时间序列的适应。第三种算法称为条件欧拉生成器 (CEGEN)，它最小化所有时间步长上转移概率分布之间的专用距离。在 Ito 过程的背景下，我们提供了理论保证，最小化该标准意味着对漂移和波动率参数的准确估计。我们凭经验证明 CEGEN 在边际和时间动态指标上均优于最先进的生成器和 GAN 生成器。此外，它在高维上识别准确的相关结构。当可用的数据点很少时，我们验证了 CEGEN 的有效性，结合蒙特卡罗模拟的迁移学习方法。最后，我们说明了我们的方法在各种真实世界数据集上的稳健性。

CATN: Cross Attentive Tree-aware Network for Multivariate Time Series Forecasting

研究方向：多维时间序列预测

论文摘要：在多元时间序列数据中建模复杂的分层和分组特征交互对于理解数据动态和预测未来状况是必不可少的。隐式特征交互和高维数据使多元预测非常具有挑战性。许多现有的工作并没有更加强调探索多个时间序列数据之间的显式相关性，而是设计了复杂的模型来借助注意力机制来捕捉长期和短期模式。在这项工作中，我们认为由于其不规则的结构，预定义的图或一般的学习方法是困难的。因此，我们提出了 CATN，这是一种跨注意树感知网络的端到端模型，用于联合捕获系列间相关性和系列内时间模式。我们首先构建一个树形结构来学习分层和分组相关性，并设计一种嵌入方法，该方法可以传递动态消息来概括多个时间序列之间隐含但可解释的交叉特征。接下来在时间方面，我们提出了一种多层次的依赖学习机制，包括全局和局部学习和交叉注意机制，可以结合长程依赖、短程依赖以及不同时间步长的交叉依赖。与现实世界中不同数据集的广泛实验表明，与现有的最先进方法相比，我们提出的方法的有效性和稳健性。

时序检测在工业界有很广泛的应用。本次AAAI带来了2篇相关研究：时序异常检测、极端时间事件建模。

Towards a Rigorous Evaluation of Time-series Anomaly Detection

论文地址：https://arxiv.org/abs/2109.05257

研究方向：时序异常检测

论文摘要：近年来，关于时间序列异常检测 (TAD) 的拟议研究报告了基准 TAD 数据集的高 F1 分数，给人以明显改进的印象。然而，大多数研究在评分之前应用一种称为点调整 (PA) 的特殊评估协议。在本文中，我们从理论上和实验上揭示了 PA 协议有很大的可能高估检测性能；也就是说，即使是随机的异常分数也可以很容易地变成最先进的 TAD 方法。因此，在 PA 协议之后将 TAD 方法与 F1 分数进行比较可能会导致排名错误。此外，我们通过展示未经训练的模型即使没有 PA 也能获得与现有方法相当的检测性能来质疑现有 TAD 方法的潜力。根据我们的发现，我们提出了一个新的基线和评估协议。我们希望我们的研究将有助于对 TAD 进行严格的评估，并导致未来研究的进一步改进。

DeepGPD: A Deep Learning Approach for Modeling Geospatio-Temporal Extreme Events

研究方向：时序极端事件检测

本次AAAI带来了一篇关于聚类方法进行时序降噪的研究：

Clustering Interval-Censored Time-Series for Disease Phenotyping

论文地址：https://arxiv.org/abs/2102.07005v4

研究方向：时序聚类，智慧医疗

论文摘要：无监督学习通常用于发现数据中的集群。然而，不同种类的噪声可能会阻碍从现实世界的时间序列数据中发现有用的模式。在这项工作中，我们专注于减轻间隔审查对疾病表型聚类任务的干扰。我们开发了一个时间序列数据的深度生成、连续时间模型，该模型在校正审查时间的同时对时间序列进行聚类。我们提供了可以从无噪声模型下的数据中识别集群和延迟进入量的条件。在合成数据上，我们展示了优于多个基准的准确、稳定和可解释的结果。在心力衰竭和帕金森病患者的真实临床数据集上，我们研究了间隔审查如何对疾病表型分析任务产生不利影响。我们的模型纠正了这种错误来源并恢复了已知的临床亚型。

Dynamic Nonlinear Matrix Completion for Time-Varying Data Imputation

研究方向：时序补全，矩阵计算

Self-supervised Representation Learning Framework for Remote Physiological Measurement Using Spatiotemporal Augmentation Loss

论文地址：https://arxiv.org/abs/2107.07695v2

研究方向：强化学习，时空目标度量

论文源码：https://github.com/Dylan-H-Wang/SLF-RPM

论文摘要：监督式深度学习方法的最新进展使得能够使用面部视频远程测量基于光体积描记的生理信号。然而，这些监督方法的性能取决于大型标记数据的可用性。对比学习作为一种自监督方法，最近通过最大化不同增强视图之间的互信息，在学习代表性数据特征方面取得了最先进的性能。然而，现有的对比学习数据增强技术并非旨在从视频中学习生理信号，并且当视频帧之间存在复杂的噪声以及微妙和周期性的颜色或形状变化时，往往会失败。为了解决这些问题，我们提出了一种新的自监督时空学习框架，用于远程生理信号表示学习，其中缺乏标记的训练数据。首先，我们提出了一种基于地标的空间增强，它基于 Shafer 二色反射模型将面部分成几个信息部分，以表征细微的肤色波动。我们还制定了一个基于稀疏性的时间增强，利用 Nyquist-Shannon 采样定理，通过对生理信号特征进行建模来有效地捕捉周期性的时间变化。此外，我们引入了约束时空损失，它为增强视频剪辑生成伪标签。它用于调节训练过程和处理复杂的噪声。我们在 3 个公共数据集上评估了我们的框架，并证明了比其他自监督方法更优越的性能，并且与最先进的监督方法相比，实现了具有竞争力的准确性。

SPATE-GAN: Improved Generative Modeling of Dynamic Spatio-Temporal Patterns with an Autoregressive Embedding Loss

论文地址：https://arxiv.org/abs/2109.15044

研究方向：时空度量，对抗学习

论文摘要：从生态学到大气科学，许多学科处理的数据具有复杂的时空复杂性，其建模通常需要专门的方法。这些数据的生成模型特别令人感兴趣，因为它们支持一系列有影响力的下游应用程序，如模拟或创建合成训练数据。最近的工作强调了生成对抗网络 (GAN) 在生成时空数据方面的潜力。受因果最优传输（COT）理论的启发，提出了一种新的 GAN 算法 COT-GAN，试图更好地应对这一挑战。然而，学习更复杂的时空模式的任务需要对其特定数据结构的额外了解。在这项研究中，我们提出了一种新的损失目标，结合基于自回归嵌入的 COT-GAN，以加强对时空动态的学习。我们设计了 SPATE（时空关联），这是一种新的度量标准，通过使用观测值与其预期值的偏差来测量时空自相关性。我们为真实和合成数据样本计算 SPATE，并使用它来计算考虑时空交互的嵌入损失，推动 GAN 学习忠实于观察到的动态的输出。我们在一组不同的复杂时空模式上测试这个新目标：湍流、对数高斯考克斯过程和全球天气数据。我们展示了我们新颖的嵌入损失在不改变 COT-GAN 主干架构的情况下提高了性能，突出了我们的模型捕获自回归结构的能力增加。我们还将我们的工作与物理学相关的深度学习和跨学科工作的最新进展相关联，将神经网络与地理和地球物理科学联系起来。

Adaptive Pairwise Weights for Temporal Credit Assignment

论文地址：https://arxiv.org/abs/2102.04999

研究方向：强化学习，时间状态度量

论文摘要：在一个国家采取的行动应该获得多少信用（或责备）以换取未来的奖励？这是强化学习 (RL) 中的基本时间信用分配问题。最早且仍然最广泛使用的启发式方法之一是基于标量系数 λ（视为超参数）分配此功劳，该系数被提升为状态动作和奖励之间的时间间隔的幂。在这篇实证论文中，我们探索了基于更一般的成对权重的启发式方法，这些权重是采取行动的状态、奖励时的状态以及两者之间的时间间隔的函数。当然，不清楚这些成对的权重函数应该是什么，并且因为它们太复杂而不能被视为超参数，我们开发了一个元梯度程序，用于在策略的通常 RL 训练期间学习这些权重函数。我们的实证工作表明，通常可以在学习策略期间学习这些成对的权重函数，以获得比竞争方法更好的性能。

Synthesis from Satisficing and Temporal Goals

论文地址：https://suguman.github.io/Papers/AAAI22.pdf

研究方向：强化学习，时间目标度量

论文摘要：将线性时序逻辑 (LTL) 中表示的硬约束与折扣和 (DS) 奖励表示的软约束相结合的高级规范的反应式合成在规划和强化学习中具有应用。现有的方法将 LTL 综合技术与 DS 奖励的优化相结合，但未能产生合理的算法。将 LTL 合成与令人满意的 DS 奖励（达到阈值的奖励）相结合的替代方法对于整数折扣因子是合理且完整的，但在实践中，需要分数折扣因子。这项工作扩展了现有的令人满意的方法，提出了第一个用于从具有分数折扣因子的 LTL 和 DS 奖励合成的声音算法。我们算法的实用性在机器人规划领域得到了证明。

高效且清晰的时序特征表达与分析对于时序信息的挖掘，决策辅助至关重要。如何对时间序列的价值信息进行表达？本次AAAI带来了3篇研究：

TS2Vec: Towards Universal Representation of Time Series

论文地址：https://arxiv.org/abs/2106.10466v3

研究方向：时序语义表达

论文源码：https://github.com/yuezhihan/ts2vec

论文摘要：本文介绍了 TS2Vec，这是一种在任意语义级别学习时间序列表示的通用框架。与现有方法不同，TS2Vec 在增强的上下文视图上以分层方式执行对比学习，这为每个时间戳提供了强大的上下文表示。此外，为了获得时间序列中任意子序列的表示，我们可以对相应时间戳的表示进行简单的聚合。我们对时间序列分类任务进行了大量实验，以评估时间序列表示的质量。因此，TS2Vec 在 125 个 UCR 数据集和 29 个 UEA 数据集上实现了对现有无监督时间序列表示的 SOTA 的显着改进。学习到的时间戳级表示在时间序列预测和异常检测任务中也取得了优异的成绩。在学习表示之上训练的线性回归优于之前的时间序列预测 SOTA。此外，我们提出了一种简单的方法来将学习到的表示应用于无监督异常检测，这在文献中建立了 SOTA 结果

Temporal Action Proposal Generation with Background Constraint

论文地址：https://arxiv.org/abs/2112.07984v1

研究方向：动作定位

论文摘要：时间动作提议生成 (TAPG) 是一项具有挑战性的任务，旨在在具有时间边界的未修剪视频中定位动作实例。为了评估提案的置信度，现有的工作通常预测提案的动作得分，这些提案由提案和地面实况之间的时间交叉联合（tIoU）监督。在本文中，我们创新地提出了一种通用的辅助背景约束思想，通过利用背景预测分数来限制建议的置信度，以进一步抑制低质量的建议。通过这种方式，背景约束概念可以轻松地插入现有的 TAPG 方法（例如，BMN、GTAD）中。从这个角度来看，我们提出了背景约束网络（BCNet）来进一步利用动作和背景的丰富信息。具体来说，我们引入了一个用于可靠置信度评估的动作-背景交互模块，该模块通过帧和剪辑级别的注意机制对动作和背景之间的不一致进行建模。在两个流行的基准测试中进行了广泛的实验，即 ActivityNet-1.3 和 THUMOS14。结果表明，我们的方法优于最先进的方法。配备现有的动作分类器，我们的方法在时间动作定位任务上也取得了显着的表现。

Training Robust Deep Models for Time-Series Domain: Novel Algorithms and Theoretical Analysis

研究方向：时序模型鲁棒性

时空预测在城市交通预测，用户行为预测，多因子气象预测等领域应用广泛。本次AAAI带来了5篇研究：

Conditional Local Convolution for Spatio-temporal Meteorological Forecasting

论文地址：https://arxiv.org/abs/2101.01000

研究方向：时空预测，天气预报

论文源码：https://github.com/BIRD-TAO/CLCRN

论文摘要：由于时间动态的高度非线性以及空间域中复杂的位置特征模式，时空预测具有挑战性，尤其是在天气预报等领域。图卷积通常用于建模气象学中的空间依赖性，以处理传感器空间位置的不规则分布。在这项工作中，提出了一种新颖的基于图的卷积来模拟气象流，以捕获局部空间模式。基于位置特征模式的平滑性假设，我们提出了条件局部卷积，其节点局部空间上的共享核通过前馈网络进行近似，将水平映射获得的坐标的局部表示作为圆柱切线空间的输入。既定的局部坐标系统一标准保留了地理定位。我们进一步提出了距离和方向缩放项，以减少不规则空间分布的影响。卷积嵌入到循环神经网络架构中以对时间动态进行建模，从而产生条件局部卷积循环网络 (CLCRN)。我们的模型在真实世界的天气基准数据集上进行了评估，实现了最先进的性能和明显的改进。我们对局部模式可视化、模型的框架选择、水平图的优势等进行了进一步的分析。

TLogic: Temporal Logical Rules for Explainable Link Forecasting on Temporal Knowledge Graphs

论文地址：https://arxiv.org/abs/2112.08025

研究方向：连接预测，时间知识图谱

论文源码：https://github.com/liu-yushan/TLogic

论文摘要：传统的静态知识图将关系数据中的实体建模为节点，由特定关系类型的边连接。然而，信息和知识不断发展，时间动态出现，预计会影响未来的情况。在时间知识图中，通过为每条边配备时间戳或时间范围，将时间信息集成到图中。已经引入了基于嵌入的方法来对时间知识图进行链接预测，但它们大多缺乏可解释性和可理解的推理链。特别是，它们通常不是设计用于处理链接预测——涉及未来时间戳的事件预测。我们解决了时间知识图上的链接预测任务，并介绍了 TLogic，这是一个可解释的框架，它基于通过时间随机游走提取的时间逻辑规则。我们在三个基准数据集上将 TLogic 与最先进的基线进行比较，并显示出更好的整体性能，同时我们的方法还提供了保持时间一致性的解释。此外，与大多数最先进的基于嵌入的方法相比，TLogic 在归纳设置中运行良好，其中已经学习的规则被转移到具有通用词汇表的相关数据集。

Spatio-Temporal Recurrent Networks for Event-Based Optical Flow Estimation

论文地址：https://arxiv.org/abs/2109.04871

研究方向：光流预估，事件分析

论文摘要：事件相机为视觉感知提供了有希望的替代方案，特别是在高速和高动态范围的场景中。最近，许多深度学习方法在为许多基于事件的问题（例如光流估计）提供无模型解决方案方面取得了巨大成功。然而，现有的深度学习方法并没有从架构设计的角度很好地解决时间信息的重要性，不能有效地提取时空特征。另一种利用尖峰神经网络的研究受到更深层次架构的训练问题的困扰。为了解决这些问题，提出了一种新颖的输入表示，它可以捕获事件时间分布以进行信号增强。此外，我们引入了一种用于基于事件的光流估计的时空循环编码-解码神经网络架构，它利用卷积门控循环单元从一系列事件图像中提取特征图。此外，我们的架构允许结合一些传统的基于框架的核心模块，例如相关层和迭代残差细化方案。该网络在多车辆立体事件摄像机数据集上通过自监督学习进行端到端训练。我们已经证明它大大优于所有现有的最先进的方法。

A GNN-RNN Approach for Harnessing Geospatial and Temporal Information: Application to Crop Yield Prediction

论文地址：https://arxiv.org/pdf/2111.08900.pdf

研究方向：粮作物产量预测

论文摘要：气候变化对粮食不安全、供应稳定和经济规划等作物相关问题提出了新的挑战。作为核心挑战之一，作物产量预测已成为机器学习领域的一项紧迫任务。尽管它很重要，但预测任务异常复杂，因为作物产量取决于各种因素，如天气、地表、土壤质量以及它们的相互作用。近年来，机器学习模型已成功应用于该领域。然而，这些模型要么将它们的任务限制在一个相对较小的区域，要么只研究一年或几年，这使得它们很难在空间和时间上进行概括。在本文中，我们介绍了一种用于作物产量预测的新型基于图的循环神经网络，将地理和时间知识结合到模型中，并进一步提高预测能力。我们的方法在美国本土 41 个州的 2000 多个县进行了训练、验证和测试，涵盖 1981 年至 2019 年。据我们所知，这是第一个将地理知识嵌入到作物产量预测和预测全国县级作物产量。我们还通过应用众所周知的线性模型、基于树的模型、深度学习方法并比较它们的性能，为与其他机器学习基线的比较奠定了坚实的基础。实验表明，我们提出的方法在各种指标上始终优于现有的最先进方法，验证了地理空间和时间信息的有效性。

CausalGNN: Causal-based Graph Neural Networks for Spatio-Temporal Epidemic Forecasting

研究方向：时空预测，流行病分析

DeepVisualInsight: Time-Travelling Visualization for Spatio-Temporal Causality of Deep Classification Training

论文地址：https://arxiv.org/abs/2201.01155

研究方向：时空模型解释，因果分析

论文摘要：了解深度学习模型的预测是如何在训练过程中形成的，对于提高模型性能和修复模型缺陷至关重要，尤其是当我们需要调查诸如主动学习之类的非平凡训练策略，并跟踪意外训练结果的根本原因时，例如性能退化。在这项工作中，我们提出了一种时间旅行视觉解决方案 DeepVisualInsight (DVI)，旨在在训练深度学习图像分类器的同时体现时空因果关系。时空因果关系展示了梯度下降算法和各种训练数据采样技术如何影响和重塑学习输入表示的布局和连续时期的分类边界。这种因果关系使我们能够在可见的低维空间中观察和分析整个学习过程。从技术上讲，我们提出了四个空间和时间属性，并设计了我们的可视化解决方案来满足它们。当在可见的低维和不可见的高维空间之间逆向投影输入样本时，这些属性保留了最重要的信息，以进行因果分析。我们广泛的实验表明，与基线方法相比，我们在空间/时间属性和可视化效率方面实现了最佳可视化性能。此外，我们的案例研究表明，我们的视觉解决方案可以很好地反映各种训练场景的特征，显示出 DVI 作为分析深度学习训练过程的调试工具的良好潜力。

Temporal Knowledge Graph Completion using Box Embeddings

论文地址：https://arxiv.org/abs/2109.08970

研究方向：时间知识图谱

论文摘要：知识图完成是根据知识图中的现有数据推断缺失事实的任务。时间知识图完成（TKGC）是此任务对时间知识图的扩展，其中每个事实都与时间戳相关联。当前的 TKGC 方法主要建立在为（静态）知识图完成而开发的现有嵌入模型的基础上，并将这些模型扩展为包含时间，其想法是学习实体、关系和时间戳的潜在表示，然后使用学习的表示在不同的时间步预测缺失的事实。在本文中，我们提出了 BoxTE，一种用于 TKGC 的框嵌入模型，建立在静态知识图嵌入模型 BoxE 的基础上。我们证明 BoxTE 具有充分的表达能力，并且在时间环境中具有很强的归纳能力。然后，我们凭经验评估我们的模型，并表明它在几个 TKGC 基准测试中取得了最先进的结果。

Disentangled Spatiotemporal Graph Generative Model

研究方向：时空图生成

Learning Temporal Point Processes for Efficient Retrieval of Continuous Time Event Sequences

研究方向：时间点过程，时间事件分析

Learning Disentangled Classification and Localization Representations for Temporal Action Localization

研究方向：动作识别，分类

TIGGER: Scalable Generative Modelling for Temporal Interaction Graph

研究方向：时间交互图，生成模型

Leaping Through Time with Gradient-based Adaptation for Recommendation

论文地址：https://arxiv.org/abs/2112.05914v1

研究方向：持续学习，风格迁移

论文源码：https://github.com/nutcrtnk/LeapRec

论文摘要：现代推荐系统需要适应用户偏好和项目流行度的变化。这样的问题被称为时间动态问题，它是推荐系统建模的主要挑战之一。与流行的循环建模方法不同，我们通过使用基于轨迹的元学习对时间依赖性进行建模，提出了一种名为 LeapRec 的新解决方案来解决时间动态问题。LeapRec 通过名为全局时间跳跃 (GTL) 和有序时间跳跃 (OTL) 的两个互补组件来表征时间动态。根据设计，GTL 通过在无序时间数据中找到最短的学习路径来学习长期模式。合作地，OTL 通过考虑时间数据的顺序性来学习短期模式。我们的实验结果表明，LeapRec 在多个数据集和推荐指标上始终优于最先进的方法。此外，我们提供了 GTL 和 OTL 之间相互作用的实证研究，显示了长期和短期建模的影响。

Dynamic Meta-Learning Model for Time-Sensitive Cold-Start Recommendations

研究方向：冷启动，时间敏感度分析