基于图注意力机制和Transformer的异常检测-技术圈

来源：专知
本文为论文，建议阅读6分钟
本文提出了一种基于图注意力和Transformer的异常检测模型。

异常检测对电力行业的发展有着重要的影响，如何根据大规模电力数据进行异常检测是重要的研究热点.目前，大多数研究通过聚类或神经网络进行异常检测. 但是这些方法忽略了时序数据之间潜在的关联关系及某些特点的重要信息，没有充分挖掘出数据的潜在价值. 因此，提出了一种基于图注意力和Transformer的异常检测模型. 该模型首先根据数据中台中获取的电力数据（主要包括用户ID、电能表ID、用户类型、电流、电压、功率等数据）构建一个异构信息网络；然后，为了减少模型参数和避免出现过拟合的现象，在图卷积网络（Graph Convolutional Network，GCN）模型的基础上，引入非负矩阵分解（Non-Negative Matrix Factorization，NNMF）的方法来进行相似性学习；最后采用图注意力网络（Graph Attention Network，GAT）和Transformer共同捕获数据间的相互关联关系，从而提高检测精度. 以中国某地区的电力数据为基础进行验证，实验结果表明所提出的方法可以有效进行异常检测.

http://www.ejournal.org.cn/CN/10.12263/DZXB.20211209

引言

异常检测指出从预期正常数据中检测出扭曲或偏差的数据［1，3］，这些数据通常被称为异常值 . 异常检测已被用于许多重要领域，如视频监控、网络入侵检测、信用欺诈检测、电力行业和医疗保健.

对于电力行业，随着电力系统信息化水平的提高，各种电力设备和系统需要处理大量数据［4］ . 然而，需要处理的事件信息类型多样，难以从数据中提取有用信息［5］ . 此外，由于各种通信故障［6］、设备故障［7］、电网波动［8］和用户行为异常等原因，出现了大量的异常数据 . 这些异常数据往往包含电网信息中的重要信息，对电力数据的准确性和完整性有着重要影响. 因此，基于大规模电力数据，研究异常检测算法，分析、识别、处理异常信息，对电力行业挖掘事件信息和智能电网的分析具有重要意义［9，10］ . 目前，传统数据异常检测方法主要依靠数据专家、业务专家等人力进行排查［11，12］ . 随着各行业及各专业数据化建设规模的逐渐扩大，依靠传统方法对海量、实时、异构的数据异常检测方法渐显不足. 主要问题在于人工成本大、时间周期长，依赖专家经验无法并发批量工作，人工治理还会引发错漏现象等，无法快速、准确、低成本地满足业务数据的使用需求；同时缺乏异构数据环境下数据拓扑关系高效管理的手段，无法实现复杂逻辑数据管理智能化及数据脉络关系可视化和清晰化，与真正实现“追根溯源”式的数据核查理念还存在一定的差距.

近年来，随着数据科学的进步以及人工智能技术的发展，提出了一些基于数据挖掘和智能优化算法的异常检测方法［13，14］ . Wang 等人［13］采用不同的聚类算法，根据电表收集的平均损失、线路损耗变化效率和电流表开路记录来检测10个kV非技术损失，最后对各种聚类算法的检测效果进行了分析和比较 . 基于异常用户用电的差异行为特征和正常用户，Buzau等人［14］使用长期和短期的记忆网络和多层感知器混合的深度神经网络来进行异常检测，它们比其他分类器具有更高的精度. 针对考虑时序数据的关联性方面，Chahla等人［15］提出了一种基于长短期记忆的异常检测方法，用于从单变量时间序列数据中进行不和谐搜索，然后根据观测的数据预测误差，最后通过统计策略进行异常检测. Barua等人［16］提出了一个基于层次时空记忆（Hierarchi⁃ cal Temporal Memory，HTM）的新型神经认知启发架构，用于利用微相位测量单元数据进行智能电网的实时异常检测 . 其关键的技术思想是，HTM 学习连续数据的稀疏性和关联性的时间表示，这对于实时的异常检测非常有用 . Rouzbahani 等人［17］提出了一种用于智能电网ETD的集合深度卷积神经网络（EDCNN）算法. 该算法首先采用随机下采样技术来处理不平衡数据，然后利用深度卷积神经网络（DCNN）来挖掘数据之间的相互依赖性，最后，通过嵌入一个投票机制来实现窃电检测. 这些方法虽然取得了不错的检测效果，但是可能会忽略掉特定用户的某些重要信息. 针对上述问题，本文提出了一种基于图注意力和 Transformer 的异常检测模型 . 该模型首先根据数据中台中收集的电力数据构建一个异构信息网络；然后采用图卷积网络（Graph Convdutional Netword，GCN）和非负矩阵分解（Non-Negathe Matrix Factorization， NNMF）相结合的方法进行相似性分组；最后采用图注意力机制和 Transformer 相结合的方式进行分组异常检测。