【数据竞赛】时间序列竞赛必看一文!

共 2174字,需浏览 5分钟

 ·

2022-01-19 16:26

作者:杰少

深度学习时间序列概述

简介

本篇综述是我的个人学习记录,绝大部分内容摘自牛津大学的时间序列综述,有兴趣的朋友可以阅读文末的原文。

本篇文章我们介绍深度学习用于时间序列的一些最新进展,包括:

  • 使用深度学习做时间序列的通用方法;例如multi-horizon预测和不确定性估计;
  • 混合模型的趋势;
  • 神经网络用于促进决策支持,特别是通过解释性和反事实预测方法;
  • 时间序列的未来研究方向;
时间序列预测的深度学习框架

01


One-step ahead函数表示


其中:

  • 为模型的预测结果;
  • , 是标签和额外特征;
  • 是和实体相关的静态元数据;
  • 是模型学习得到的预测函数;

基础构建框架

  • :encoder;
  • :decoder;

02


encoder常见框架

1. CNN网络

其中,

  • 是在时间t第层的中间状态;
  • 是卷积操作;
  • 是固定的filter权重;
  • 为激活函数;

Dialted 卷积

  • 为特定层的dilation比例,
  • Dialated卷积可以解释为低层特征的下采样卷积——可以获取更远的信息。

2. RNN网络

其中:

  • 是RNN的中间隐藏状态;
  • 是学习的memory更新函数;

LSTM:

受限于梯度传播等的问题,传统的RNN很难学到较长的序列信息,LSTM被专门设计用于解决该问题,

其中:

  • 是LSTM的隐藏状态,为sigmoid激活函数

其中:

  • 是单个元素的乘积;

3. Attention机制

其中,

  • key:, query: , value: ;
  • 是attention权重的向量;
  • 是LSTM的encoder的输出;

注意力提供了两大关键好处:

  1. 注意力机制可以直接关注到重要的重要事件;
  2. 可以关注到更远的信息;学习的长度更远;

03


Multi-horizon预测模型


其中:

  • 是离散的预测;
  • 是已知的未来输入(例如日期信息等);
  • 是历史观测值;

04


常见两种模型策略


1. 迭代策略

迭代方法可以方便地将标准模型简化为多步骤预测。迭代策略最大的问题在于:

  • 由于每个时间步都会产生少量误差,迭代方法的递归结构可能会在较长的预测期内导致较大的误差累积。

2. 直接的方案

直接的方法通过直接使用所有可用输入生成预测,使用encoder作为过往的信息等汇总,decoder将已知的等未来输入进行组合,直接预测一个固定长度的输出向量。

05


混合模型中融合域知识

在之前的许多问题中,复杂的深度学习方法并不能带来更准确的预测,而简单的ensembling模型往往做得更好。原因可能在于下面两点:

  • 深度学习的复杂性使其更容易过度拟合;因此,较简单的模型可能在低数据状态下表现更好,这在预测具有少量历史观测值的问题(例如季度宏观经济预测)时很突出。
  • 与统计模型的平稳性要求类似,机器学习模型对输入的预处理方式非常敏感,需要尽可能保证训练和测试时的数据分布是相似的;

深度学习最近在开发混合模型可以很好地处理该问题,混合的方法将许多量化时间序列模型和深度学习方法进行结合,并取得了非常好的效果,具体地混合模型可以分成两种方式:

  1. 将time-varying的参数编码进非概率参数模型;
  2. 概率模型使用的参数分布的产出;

非概率混合模型

对于参数时间序列模型,预测方程通常以分析方式定义,并为未来目标提供点预测。

  • 非概率混合模型修改这些预测方程,将统计和深度学习进行结合。

ES-RNN就是利用Holt Winters指数平滑模型的更新方程,将乘法层和季节性成分与深度学习输出相结合:

其中:

  • th-step-ahead的预测的最后一层;
  • 是level的成分;
  • 是周期性的成份,
  • ,是实体特定静态系数。

概率混合模型

概率混合模型可以被用于分布建模的应用。例如高斯过程和线性状态空间等。

06


使用DNN加速决策

1. 时间序列可解释性

Post-hoc解释性技术

可解释模型用于解释经过训练的网络,并在不修改原始权重的情况下帮助识别重要特征或示例。方法主要可分为两大类。

  1. 在神经网络的输入和输出之间应用更简单的可解释代理模型,并依靠近似模型提供解释;最典型的就是LIME,SHAP等;
  2. 基于梯度下降的方法;

使用注意力权重进行解释

故名思义,就是使用attention的权重进行解释。权重越高,则愈加重要。

2. 反事实预测&随时间推移的因果推断

深度学习可以通过在观测数据集之外生成预测或反事实预测,帮助促进决策支持。具体的内容可以参见相关的文章。

结论和未来方向

本文我们介绍了目前深度学习最为常见的两种学习预测框架,基于one-step的和multi-horizon的,以及这两种框架采用的网络结构:CNN,RNN,Attention,最后补充介绍了混合深度模型,并简述了深度学习在可解释性以及加速决策方面的内容。

参考文献
  1. Time Series Forecasting With Deep Learning: A Survey

  2. 往期精彩回顾




    1. 适合初学者入门人工智能的路线及资料下载
    2. 中国大学慕课《机器学习》(黄海广主讲)
    3. 机器学习及深度学习笔记等资料打印
    4. 机器学习在线手册
    5. 深度学习笔记专辑
    6. 《统计学习方法》的代码复现专辑
    7. AI基础下载
    8. 站qq群955171419,加入微信群请扫码:

浏览 92
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报