深度学习时间序列异常检测方法

这种情况下，动态时间扭曲（DTW）用于对两个时间序列进行最佳对齐，以确定它们之间的不同程度，常用于异常检测。MTS由多个维度组成，每个维度描述实体的不同方面。intermetric依赖指的是实体内部度量之间的空间依赖性。如果这种依赖性被打破，MTS会出现广泛的异常行为。图2左侧部分的示例显示了电力消耗和CPU使用率之间的正相关性在约100秒后中断，这种异常被称为intermetric异常。

从时间和度量角度看，间隔-时间异常均比较容易检测出来，因为这些异常违反了时间和度量的依赖关系，正如图2的右图所示。

2  深度异常检测方法

对于具有复杂结构的数据，深度神经网络是建模依赖关系的强大方法。图3展示了时间序列异常检测中深度学习体系结构的分类。

2.1  时间序列异常检测

本文中，时间序列异常检测的深度模型根据其主要方法和体系结构进行分类。时间序列异常检测文献中有两种主要的方法（图4中的学习组件）：基于预测的模型可以训练来预测下一个时间戳，而基于重构的模型可以部署来捕捉时间序列数据的嵌入。

图4 时间序列中深度异常检测模型的一般组件

表1和表2分别总结了基于它们处理的输入维度的单变量和多变量时间序列的异常检测模型。这些表格概述了以下方面的模型：(1)时间/空间；(2)学习方案；(3)输入；(4)可解释性；(5)点/子序列异常；(6)随机性；(7)增量。

深度模型以逐步或端到端方式处理输入（见图4），包括学习模块和异常评分模块。模型的输出可以是异常分数或输入的标签。异常分数是通过损失函数来定义的，例如重构概率或预测误差。评估指标包括AUC ROC、精确度和召回率等，有时也会用到点调整或基于段的评估技术来测量F1分数。局部性的Affiliation指标可用于评估时间序列异常检测任务。

2.2  基于预测的模型

基于预测的方法使用已学习模型预测点或子序列，通过比较预测值与实际值确定异常程度。大多数方法使用滑动窗口预测，模拟正常行为以识别异常。早期工作使用预测误差作为新颖性指标，而非异常分数。接下来将解释基于预测的体系结构。

循环神经网络（RNN）。由于RNN具有内部记忆，因此它们可以处理长度可变的输入序列并展现出时间动态特性。图5a展示了简单RNN体系结构的示例。

长短期记忆 (LSTM)。LSTM有望为 RNN 提供持续数千步的记忆。由于 RNN 架构（如图 5 所示）与 LSTM 单元的结合，深度神经网络可以实现出色的预测，因为它们包含长期依赖性。图 5b 中显示了 LSTM 单元的四个主要组件：单元、输入门、输出门和遗忘门。在可变的时间段内，单元记住值，而其他门控制信息流。

门控循环神经网络（GRU）。GRU是是LSTM的简化版，没有单独记忆单元，但信息流增加。GRU没有输出门，但有更新门和重置门。GRU和LSTM在多季节时间序列学习复杂模式有局限，训练成本高。建议使用AD-LTI预测模型，整合GRU网络和Prophet时间序列分解方法，显式馈送季节性特征到GRU网络中。在推断期间，除季节性特征外，还会给定时间序列。由于预测基于以前的数据，可能存在异常点，需要局部趋势不一致性(LTI)度量异常可能性。

卷积神经网络（CNN）。CNN是多层感知器的变种，以不同的方式进行正规化。数据中的层次模式使得它们可以使用更小和更简单的模式来构建日益复杂的模式。CNN包括多个层，如图6所示，包括卷积层、池化层和全连接层。

CNN是多层感知器的变体，通过使用更小、更简单的模式构建越来越复杂的模式进行正规化。卷积层由可学习内核组成，进行卷积操作和池化总结。基于CNN的模型可以在训练阶段不需要大量数据，有效检测时间序列中的微小偏差。结构数据分析中，卷积网络可用于提取高级特征。时域卷积网络（TCN）通过膨胀卷积实现适用于时序数据的提取，模型可预测趋势变化。异常分数可通过拟合高斯分布预测误差得出，实现多元特征混合预测。

微软使用了单变量时间序列异常检测服务，包括Azure等产品。TCN自编码器使用两个时间卷积神经网络进行编码和解码，结合CNN架构和自编码器框架。准周期时间序列（QTS）经常被产生，例如心电图等生理信号。自动QTS异常检测框架通过TCQSA和HALCM实现两级聚类和抗噪声性，HALCM采用混合LSTM-CNN模型，通过三种注意力机制增强效果。

图神经网络（GNN）。过去几年，研究人员提出从MTS中提取空间信息并形成图结构。然后，时间序列异常检测问题转换为检测给定图结构的时间序列异常，并且 GNN 已用于对这些图进行建模。GNN 的结构如图 7 所示。

GNN通过学习空间结构增强多元时间序列数据建模能力。GCN聚合一步邻居建模节点特征表示，GAT使用注意力函数计算邻居权重。GDN将向量嵌入节点以捕获传感器特性，并将传感器间相关性捕获为图中边缘。GANF结合图形结构学习增强正规化流，通过分解时间序列密度学习条件密度，并使用基于图的依赖解码器总结计算系列密度所需的条件信息。从时间序列中提取图形结构并使用GNN进行建模，使得异常检测模型能够学习空间信息变化，是一个有希望的研究方向。

分层时间记忆（HTM）。使用分层时间处理进行异常检测的一个值得注意的例子是分层时间记忆（HTM）系统，该系统试图模仿新皮质中神经元细胞、区域和级别的层次结构[64]。如图 8a 所示为典型的 HTM 算法组件。

基于模型预测历史和误差分布情况，异常可能性是一种概率度量，表明当前状态是否异常，如图8a所示。在HTM序列记忆中，一层中排列着一列HTM神经元（图8b）。HTM包含多层区域，高层学习复杂模式，底层处理感官数据。顶层保存普遍概念，推断模式时解释子区域信息。HTM具有高容量和鲁棒性，可同时学习多个模式，识别空间和时间序列。

Numenta HTM可检测单变量时间序列中的时序异常，具有高效、适应数据变化和小异常检测能力，而Multi-HTM是学习模型，可解决广泛的异常检测问题。RADM是一个结合HTM和朴素贝叶斯网络的实时框架，用于多变量时间序列的无监督异常检测，通过HTM算法检测单变量时间序列中的异常，并将HTM与BN相结合以提高检测准确性。朴素贝叶斯网络易于使用并可以指定后验概率，用于细化新观测结果。定义健康因子α，以提高检查效率。

Transformer。Transformer是一种深度学习模型，根据不同部分的重要性，以不同的方式权衡输入数据。与RNN（循环神经网络）不同，Transformer可以同时处理整个数据。由于其架构仅基于注意力机制（如图9所示），因此可以在计算上高效的同时捕获长期依赖性。最近的研究利用Transformer来检测时间序列中的异常，因为它可以处理文本数据中的序列数据进行翻译。

GTA采用双向图结构学习多个物联网传感器之间的关系，通过影响传播图卷积自动学习传感器依赖关系。使用多尺度扩张卷积和图卷积提供分层时间上下文编码。SAnD使用注意力模型模拟临床时间序列，消除复发需要，通过自注意力模块和多个头捕获邻域内依赖关系，使用位置编码技术和密集插值嵌入技术表示时间顺序。

2.3 基于重建的模型

大多数复杂时间序列异常检测方法基于对时间序列的建模来预测未来值和预测误差，但尚不存在能针对快速连续变化时间序列产生准确模型的稳健预测模型（图10）。

因此，基于预测的异常检测方法变得无效。随着时间点数量的增加，基于预测的模型会大大增加预测误差。为了克服这一缺陷，重建模型可能更为有效。通过将正常训练数据中的子序列编码到潜在空间中，构建了正常行为的模型。在测试阶段，模型无法重建异常子序列，得出重建误差，从而检测到异常。当重建概率低于指定的阈值时，会触发异常检测。

自动编码器（AE）。自编码器是一种神经网络，被广泛研究用于MTS异常检测的非线性降维能力形式。它包含编码器和解码器两个组件（如图11a），用于学习低维度表示并重建输入。理想情况下，自编码器可以精确重构输入并最小化重构误差。

研究人员提出了稀疏自编码器、去噪自编码器和卷积自编码器等技术，以获取和表达主导信息。Sakurada和Yairi将自编码器应用于多时间序列降维并检测异常，结果表明自编码器能够检测到线性PCA无法检测到的异常组件，去噪自编码器可以提高自编码器的性能。DAGMM使用高斯混合先验估计MTS输入样本的概率，包括压缩网络和估计网络，但只考虑了空间上的相关性，没有考虑时间信息。ENCDEC-AD模型可以检测出不可预测的单变量时间序列中的异常，但没有考虑时间信息。MSCRED是一种基于注意力的ConvLSTM网络，用于捕捉时间趋势并编码、重构签名矩阵，从而检测异常。在CAE-Ensemble中，介绍了卷积序列到序列的自编码器，通过集成和参数转移策略提高准确性，减少训练时间和错误。RANSysCoders是eBay使用的实时异常检测方法，采用多编码器和解码器随机选择特征进行推断和异常定位。AMSL算法将自监督学习和记忆网络整合在一起，克服了正常数据有限的挑战，从而实现了端到端训练。

变分自动编码器（VAE）。图11b显示了变分自编码器（VAE）的典型配置，这是一种有向概率图模型，将神经网络自编码器与均值场变分贝斯（mean-field variational Bayes）结合在一起。

LSTM-VAE结合LSTM和变分自编码器，采用去噪自编码方法训练，使用动态阈值减少误报。Donut模型为监督式异常检测方法，使用修改的ELBO、缺失数据注入和MCMC插补。Bagel采用条件变分自编码器处理时间序列异常，考虑时间信息。STORN模型使用变分推理学习高维时间序列数据的概率生成模型。OmniAnomaly使用随机递归神经网络学习多元数据的稳健表示，并使用平面正规流描述潜在空间中的非高斯分布。InterFusion采用具有两个随机潜在变量的层次变分自编码器学习跨度量和时间表示，并采用预滤波策略防止过度拟合。MCMC imputation用于多变量时间序列以进行异常解释，并引入IPS作为分段度量。Buzz采用基于分区分析的对抗训练方法进行异常检测。SISVAE通过在训练深度生成模型之前进行平滑处理来检测点级异常。无监督的基于GRU的高斯混合VAE解决了时间序列数据固有的多模态分布问题。重编码器和潜在约束网络(VELC)被添加到VAE架构中以获得新的潜在向量，并用于最大化异常分数（重构误差），以便准确建模正常样本。VAE和LSTM集成到一个组件中用于无监督异常检测和稳健预测支持。谱残差(SR)被用于增强性能，为每个子序列分配一个权重以显示正常性的程度。TopoMAD是一种结合了图神经网络、LSTM和VAE的多元时间序列异常检测器，用于检测具有时空学习的云系统中的无监督异常。

生成式对抗性网络（GAN）。GAN是一种为基于博弈论的生成建模而设计的人工智能算法。在生成模型中，探索训练示例，并学习生成它们的概率分布。通过这种方式，生成对抗网络可以根据估计的分布生成更多的示例，如图12所示。

GAN已应用于多种用途，但因其依赖博弈论面临独特挑战。GAN模型在考虑对抗性学习时，使判别器对当前数据集之外的数据更敏感，数据重构更具挑战性。BeatGAN能够利用自编码器和GAN组合进行无标签重构，时间扭曲方法可提高检测准确性。GAN训练困难，需在判别器和生成器间保持平衡。DAEMON可检测时序数据中的异常。GAN采用先验分布和对抗策略拟合隐藏变量的后验分布。MAD-GAN是捕获时间关系的LSTM-RNNGAN模型，同时考虑潜在交互作用以检测异常。FGANomaly通过伪标签筛选可能的异常样本，降低过度拟合问题，更准确地捕获正常分布。

Transformers。研究者提出了一种名为Anomaly Transformer的模型，该模型采用注意力机制，对每个时间戳进行先验关联和序列关联建模，以捕捉关联差异，使罕见异常更加明显。TranAD是另一种基于变压器的异常检测模型，具有自调节和对抗训练，通过放大重构误差的对抗训练策略来解决当偏差过小无法检测异常的问题。Li等人提出了一种名为DCT-GAN的无监督方法，使用变压器处理时间序列数据、GAN模型用于重建样本和检测异常、扩张的CNN结构从潜在空间中提取时间信息，不同尺度的几个变压器生成器以获取粗粒度和细粒度的信息，提高泛化能力。MT-RVAE在变压器序列建模和VAE功能方面获得了显着的好处。

2.4 混合模型

混合模型将基于预测的模型与基于重构的模型相结合，以获得更好的时间序列表示。预测模型使用下一个时间戳的预测，而重构模型使用整个时间序列的潜在表示。可以使用联合目标函数同时优化两个模型。

自动编码器（AE）。深度卷积自动编码记忆网络（CAE-M）通过捕捉多传感器时间序列中的时空相关性，对目标分布进行近似，并建模基于标准化数据的广义模式。为降低过拟合，使用带有MMD罚项的深度卷积自动编码器。为表示时间依赖性，采用非线性双向LSTM和注意力机制以及线性自回归模型。贝叶斯滤波（NSIBF）是一种新型基于密度的时序异常检测框架，用于网络物理安全。通过递归状态空间模型，端到端训练神经网络跟踪隐藏状态的不确定性，以捕获CPS动力学。贝叶斯滤波自动应用于“已识别”的状态空间模型，以筛选出隐藏状态并估计观察值的似然性。NSIBF结合神经网络和贝叶斯滤波器的能力，高精度检测复杂CPS中噪声传感器数据中的异常。

循环神经网络（RNN）。TAnoGAN方法能够在有限的时间序列数据样本中检测到异常。TAnoGAN已经使用了涵盖多个主题的46个NAB时间序列数据集进行评估。实验表明，基于LSTM的GAN在通过对抗训练处理时间序列数据时，优于其他基于LSTM的GAN。

图神经网络（GNN）。基于两个并行图注意力层（GAT）用于多变量时间序列异常检测，可提取相关性并学习时间戳关系，结合预测和重建模型，具有诊断功能。FuSAGNet将SAE重建和GNN预测融合，发现复杂异常类型。结合GDN，嵌入传感器并使用循环单元捕获时间依赖关系。通过学习循环传感器嵌入和稀疏潜在表示，GNN在测试时预测期望行为。

3  深度学习在时间序列异常检测中的应用

3.1 物联网（IoT）

物联网（IoT）在监测发电厂工业设备和处理紧急情况中发挥着重要作用，对数据的分析和过滤可以识别异常并节省计算资源。Greenhouse使用多步前瞻性预测长短期记忆（LSTM）对大量物联网时间序列进行预测。半监督层次堆叠时间卷积网络（TCN）用于智能家居通信中的异常检测，但无法抵抗输入分布的变化。工业物联网（IIoT）产生大量数据，基于LSTM的模型可分析和预测IIoT设备的传感器数据，SCVAE用于无监督异常检测。

3.2 服务器机器监控与维护

云计算推动微服务架构发展，具有独立部署、快速交付和扩展灵活性。故障排除是关键，持续监控在线系统发现异常。SLA-VAE使用半监督VAE识别多元时间序列中的异常，提高稳健性。主动学习框架在线学习和更新检测模型。实验采用两种游戏业务云服务器数据，11个监控指标。物联网中，无线传感器网络(WSN)至关重要。AE模型用于WSN异常检测，无需与其他传感器或云通信，在传感器本地检测异常。通过真实WSN室内实验评估。

3.3 计算机网络

网络管理员需保护计算机网络免受攻击，入侵检测系统至关重要。传统滥用检测策略无法检测新入侵类型，异常检测通过学习正常网络行为检测新模式。CDN提供增强用户体验和更短响应时间。SDFVAE学习KPI潜在表示。NIDS使用深度学习技术获取高质量特征表示，应用于正常和异常流量记录。移动数据流量增长，RCAD提出分布式架构，使用HTM算法检测RTT异常。

3.4 城市事件管理

交通异常检测面临时空特性建模和异常标准差异挑战。Zhang等人提出时空分解框架，结合图嵌入算法和全连接核心神经网络，半监督学习空间和时间特征。生成器和鉴别器使用图卷积门控循环单元学习短期时空特征。位置和时间感知异常分数用于评估。CHAT基于层次注意力网络，结合双向循环层和时间注意力机制，捕获未来异常相关信息。Uber使用端到端神经网络架构进行不确定性估计，提高异常检测精度。GTransformer和TH-GAT分别研究图神经网络与注意力机制结合和时域分层图注意力网络，提高交通预测准确性。

3.5 天文研究

随着天文学观测和数据处理技术的进步，数据量呈指数级增长。光变曲线图是观测数据的一部分，通过研究光变曲线图，开辟了一种全新的天文事件检测方法，有助于观测到更多天文现象。文献中曾提出了一个LSTM神经网络用于预测光变曲线图。

3.6 航空航天

航天器异常检测系统至关重要，可提前发现潜在危险。新型变压器模型具有时间戳注意力机制和掩码策略。多模式无监督AD方法，结合深度AE和跳跃连接AE，实现大型设备（如LRE）和多源数据的可靠和自动异常检测。

3.7 自然灾害检测

实时地震检测需要高密度网络以充分利用廉价传感器。低成本加速度传感器用于地震检测，CNNs、CRNN和LSTM等算法用于分析、定位和预测地震。实时地震检测依赖于高密度网络和大量廉价传感器，可分析历史数据以找出遗漏事件。地震预测依赖于地震前兆数据，分为趋势变化和高频突变两类。LSTM网络可预测正常数据并判断行为是否异常。

3.8 医疗卫生

深度学习模型如RNNs、ESN、TCN、2D-CNN用于检测心脏病和老年痴呆症，捕捉心跳序列时序特征，即使在噪声环境下也能产生有前途的结果。EEG信号用于检测癫痫病，2D-CNN随机集成模型用于检测早期老年痴呆症症状。

3.9 能源

使用LSTM网络架构可以监测和检测工业时间序列中的故障。Wen和Keyes[181]使用CNN进行异常检测，以解决数据稀疏性问题。[14]中，基于CNN的滤波器提供额外安全层，帮助识别网络攻击并做出决策。Fan等人[59]提出基于自编码器的集成方法，用于分析建筑物中的能源时间序列，检测意外消耗模式和过度浪费。

3.10工业控制系统

事件驱动进程具有快速和慢速模式，难以模拟。THREAT使用系统调用和属性检测异常，内核级别检测提供对复杂机器对机器交互的新洞见。MIMO架构扩大模型规模并应对更严重威胁。基于MIMO的模型和扩展特征集增加异常检测范围。GAN用于异常检测和定位，多元时间序列转换为2D图像，利用卷积滤波器分析时间序列数据的时间关联和多变量之间的相关性。LSTM自编码器检测多元流中的异常，CNN处理半导体制造过程中产生的多元时间序列，MTS-CNN用于检测异常晶片并提供半导体生产中根本原因分析的有用信息。

3.11 机器人

工业机器人在现代制造业中提高生产率与质量，但故障可能导致灾难。SWCVAE用于检测多元时间序列中的异常，可预防潜在危险。LSTM-VAE分析24个人的1555个机器人喂食执行，包括12种异常。STORN的Sölch等人记录七个关节的联合配置，用于训练和测试Baxter机器人手臂，收集1000个无异常样本，300个异常样本用于测试。

3.12 环境管理

海洋工程中的结构和系统需要实时监测海洋环境，海洋观测系统（OOS）通过传感器和设备提供数据，必须在恶劣条件下工作。OceanWNN模型利用小波神经网络（Wavelet Neural Network）检测OOS中的异常，可实时工作并检测新的未知异常。废水处理厂需要优化运行，研究人员使用LSTM方法监测流程并检测集体故障。能源管理系统使用端到端CNN模型检测管道中的内部流噪声泄漏。