【数据竞赛】时间序列竞赛必看一文!
深度学习时间序列概述
本篇综述是我的个人学习记录,绝大部分内容摘自牛津大学的时间序列综述,有兴趣的朋友可以阅读文末的原文。
本篇文章我们介绍深度学习用于时间序列的一些最新进展,包括:
使用深度学习做时间序列的通用方法;例如multi-horizon预测和不确定性估计; 混合模型的趋势; 神经网络用于促进决策支持,特别是通过解释性和反事实预测方法; 时间序列的未来研究方向;
One-step ahead函数表示
其中:
为模型的预测结果; , 是标签和额外特征; 是和实体相关的静态元数据; 是模型学习得到的预测函数;
基础构建框架
:encoder; :decoder;
encoder常见框架
1. CNN网络
其中,
是在时间t第层的中间状态; 是卷积操作; 是固定的filter权重; 为激活函数;
Dialted 卷积
为特定层的dilation比例, Dialated卷积可以解释为低层特征的下采样卷积——可以获取更远的信息。
2. RNN网络
其中:
是RNN的中间隐藏状态; 是学习的memory更新函数;
LSTM:
受限于梯度传播等的问题,传统的RNN很难学到较长的序列信息,LSTM被专门设计用于解决该问题,
其中:
是LSTM的隐藏状态,为sigmoid激活函数
其中:
是单个元素的乘积;
3. Attention机制
其中,
key:, query: , value: ;
是attention权重的向量; 是LSTM的encoder的输出;
注意力提供了两大关键好处:
注意力机制可以直接关注到重要的重要事件; 可以关注到更远的信息;学习的长度更远;
Multi-horizon预测模型
其中:
是离散的预测; 是已知的未来输入(例如日期信息等); 是历史观测值;
常见两种模型策略
1. 迭代策略
迭代方法可以方便地将标准模型简化为多步骤预测。迭代策略最大的问题在于:
由于每个时间步都会产生少量误差,迭代方法的递归结构可能会在较长的预测期内导致较大的误差累积。
2. 直接的方案
直接的方法通过直接使用所有可用输入生成预测,使用encoder作为过往的信息等汇总,decoder将已知的等未来输入进行组合,直接预测一个固定长度的输出向量。
混合模型中融合域知识
在之前的许多问题中,复杂的深度学习方法并不能带来更准确的预测,而简单的ensembling模型往往做得更好。原因可能在于下面两点:
深度学习的复杂性使其更容易过度拟合;因此,较简单的模型可能在低数据状态下表现更好,这在预测具有少量历史观测值的问题(例如季度宏观经济预测)时很突出。 与统计模型的平稳性要求类似,机器学习模型对输入的预处理方式非常敏感,需要尽可能保证训练和测试时的数据分布是相似的;
深度学习最近在开发混合模型可以很好地处理该问题,混合的方法将许多量化时间序列模型和深度学习方法进行结合,并取得了非常好的效果,具体地混合模型可以分成两种方式:
将time-varying的参数编码进非概率参数模型; 概率模型使用的参数分布的产出;
非概率混合模型
对于参数时间序列模型,预测方程通常以分析方式定义,并为未来目标提供点预测。
非概率混合模型修改这些预测方程,将统计和深度学习进行结合。
ES-RNN就是利用Holt Winters指数平滑模型的更新方程,将乘法层和季节性成分与深度学习输出相结合:
其中:
是th-step-ahead的预测的最后一层; 是level的成分; 是周期性的成份, ,是实体特定静态系数。
概率混合模型
概率混合模型可以被用于分布建模的应用。例如高斯过程和线性状态空间等。
使用DNN加速决策
1. 时间序列可解释性
Post-hoc解释性技术
可解释模型用于解释经过训练的网络,并在不修改原始权重的情况下帮助识别重要特征或示例。方法主要可分为两大类。
在神经网络的输入和输出之间应用更简单的可解释代理模型,并依靠近似模型提供解释;最典型的就是LIME,SHAP等; 基于梯度下降的方法;
使用注意力权重进行解释
故名思义,就是使用attention的权重进行解释。权重越高,则愈加重要。
2. 反事实预测&随时间推移的因果推断
深度学习可以通过在观测数据集之外生成预测或反事实预测,帮助促进决策支持。具体的内容可以参见相关的文章。
本文我们介绍了目前深度学习最为常见的两种学习预测框架,基于one-step的和multi-horizon的,以及这两种框架采用的网络结构:CNN,RNN,Attention,最后补充介绍了混合深度模型,并简述了深度学习在可解释性以及加速决策方面的内容。
Time Series Forecasting With Deep Learning: A Survey 往期精彩回顾 适合初学者入门人工智能的路线及资料下载 中国大学慕课《机器学习》(黄海广主讲) 机器学习及深度学习笔记等资料打印 机器学习在线手册 深度学习笔记专辑 《统计学习方法》的代码复现专辑 AI基础下载 本站qq群955171419,加入微信群请扫码: