深度学习在股市的应用概述
【导读】大家好，我是泳鱼。一个乐于探索和分享AI知识的码农！
股票市场预测由于其非线性、高度波动性和复杂性，一直是个复杂的问题。近年来，深度学习在许多领域占据了主导地位，在股市预测方面取得了巨大的 成功 和普及。 本文以深度学习技术为重点，对其应用于股市预测研究进行结构化和全面的概述，介绍了股市预测的四个子任务及股市预测主流模型 ，并分享了一些关于股市预测的新观点及未来的几个方向 。
对量化投资、程序化交易有兴趣的同学，可添加Ai_Algorithms开通量化~
1 股市预测任务
股市预测任务围绕股票市场预测的过程展开的，包括股票走势预测、股票价格预测、投资组合管理、交易策略。
1.1 股价预测
根据时间序列数据预测股票价格，以揭示未来市场价值，并实现投资收益最大化。在预测过程中，各种因素，包括心理因素以及理性和非理性行为，都会对结果产生影响。这些因素共同作用，使得股票价格具有高度动态和波动性。 扩展阅读： 一文详解RNN及股票预测实战(Python)！
1.2 股票趋势预测
股票趋势预测通常将股票走势分为上涨、下跌和横盘。该任务通过分析股票在特定交易日期间调整后收盘价之间的差异来形式化。
1.3 投资组合管理
投资组合管理涉及对一系列投资的战略选择和监督，以实现财务目标。投资组合管理的目标是以最大化回报同时最小化风险的方式分配资源。
1.4 交易策略
交易策略是一套预先确定的准则和标准，用于做出交易决策，是买卖股票的系统方法。该策略可能简单或复杂，涉及投资风格（例如，价值&增长）、市值、技术指标、基本面分析、投资组合多样化水平、风险承受能力和杠杆等因素。
在利用深度学习的股市预测任务中，常见的交易策略主要包括事件驱动、交易数据驱动和策略优化。
图1 处理框架
图1显示了基于深度学习的方法进行股票市场预测的过程。首先是处理输入数据，包括股票数据、图表和文本；然后提取股票特征；后续将提取的特征输入到深度学习模型中进行训练；最后分析训练得到的模型效果。
2 股市预测主流 模型
股票市场预测常用模型 包括基于RNN的模型、基于GNN的模型，基于CNN的模型、强化学习模型、基于Transformer的模型以及一些其他创新方法（如图2）。图3展示了用于股票市场预测的主流深度学习模型的概况。
图2 股市预测主流深度学习模型分类
图3 股市预测主流深度学习模型概况
2.1 基于递归神经网络（RNN）的模型
RNN（图2a） 是一种有效的深度学习模型，适用于处理序列数据，如股票市场数据。然而，RNN存在梯度消失的问题，因此开发了LSTM、GRU和Bi-LSTM等变体。这些变体通过改进RNN的结构，控制短期和长期记忆，提高了对长期数据的处理能力。在股市预测方面，这些变体取得了显著进展。
递归神经网络（RNN） RNN是一种成熟的深度学习模型，已应用于股票预测。 研究人员通过结合RNN、指数平滑和自回归移动平均模型，提出了一种混合预测模型-鲁棒混合预测模型(HPM)，并通过遗传算法优化模型权重，提高了预测准确性。还有一种方法是基于RNN的状态频率记忆，能够捕捉股票价格背后的多频率交易模式。
长短期记忆（LSTM） LSTM是 一种能够有效地处理文本和时间序列数据的模型，适用于股票市场预测。 LSTM通过使用梯度方法解决了在较长时间间隔内保留信息的问题，是对RNN模型的改进 。
门控循环单元（GRU） GRU是LSTM的变体，用于股票市场预测，可提高训练速度并解决梯度消失问题。双阶段RNN基于注意力机制进行时间序列预测，GRU网络使用双级注意力机制进行股票价格预测，根据金融新闻标题分配不同的权重。MI-LSTM模型使用注意力区分主要和辅助因素，为输入分配不同的权重，以防止无关因素影响最终结果。
2.2 基于卷积神经网络（CNN）的模型
CNN（图2b）是一种深度学习模型，已被广泛应用于计算机视觉和自然语言处理任务，其模型由几个卷积层和池化层组成，用于特征提取。传统的卷积层使用二维滤波器处理图像特征，而时间序列用的CNN使用一维滤波器在时间序列上滑动。CNN结合知识图和LSTM可以进一步提高时间序列预测的性能。
其中一种模型是Knowledge-Driven Temporal Convolutional Network（KDTCN），该模型利用Open IE提取与知识图相关的活动，并进行可解释的股票预测。CNN-LSTM模型可以从历史数据中提取特征并预测股票收盘价，其中CNN组件从10天的历史数据时间序列中提取特征，LSTM组件进行价格预测。 近期一些研究探索了将知识图、LSTM和CNN集成用于股票预测，比如使用由期权图像、未来图像和历史图像组成的组合图像的基于图的CNN-LSTM模型。此外，Chandar开发了一个稳健的股票交易模型，该模型使用10个技术指标作为特征向量，从历史股票数据中提取，并通过CNN模型获得标记的卖出点、买入点和持有点。
2.3 基于图神经网络（GNN）的模型
GNN 是一种人工神经网络，它以图的形式处理数据，在股票市场预测中发挥着至关重要的作用，因为它们能够对不规则结构化数据进行操作，这与专为欧几里德结构化数据设计的 CNN 不同。GNN 的结构由节点和边组成，这使得它能够对实体之间的关系进行建模。在股票市场预测的背景下，节点通常代表公司或股票，边代表它们之间的关系。例如，关联公司的股价往往会同时波动，比如当一则好消息发布时，相应的股票就会立即飙升。这凸显了在进行预测时考虑关系的重要性。本章将探讨四种主要的基于图的模型：GNN、图卷积网络（GCN）[58]和图注意网络（GAT）。
图神经网络（GNN）GNN是一种用于预测股票表现的手段，通过整合知识图来表达公司实体之间的联系。不同文章提出了不同的模型，如滚动窗口分析和回溯方法、知识图神经张量网络（NTN）、分层图神经网络（HGNN）等。这些模型考虑了各种市场状态属性，如节点、关系和图形视图，并使用多源异构数据进行预测。此外，Ang和Lim的模型利用图形编码和注意力模块来捕捉全局和局部信息，表现非常稳健。
图卷积网络（GCN） GCN是一种专门设计用于处理图数据的深度学习模型，通过图卷积层从图中提取特征，并根据节点之间的关系进行预测。GCN可以与其他深度学习模型结合使用，例如Chen和Wei提出了一个管道预测模型，通过使用GCN模型整合公司之间的关系，每个公司表示为图中的一个节点，边表示公司之间的关系，边的权重表示持股比例。类似地，Li等人提出了一个LSTM关系图卷积网络（LSTM-RGCN）模型，处理股票之间的正相关性和负相关性。Wang等人使用GCN来分析指数之间的相关性，介绍了基于多图卷积神经网络的MG-Conv模型，并利用指数之间的静态图构建了指数数据，同时基于具有不同投资组合策略的索引之间的趋势相关性创建了动态图。
图注意网络（GAT） GAT结合了GNN和注意力层，通过注意力机制提高性能，减小噪声影响，增强与任务相关的信息。Kim等人提出使用层次注意力网络（HATs）预测股票价格和市场指数走势，Sawhney等人提出用于股票预测的多管齐下的注意力网络（MAN-SF），Cheng和Li引入了属性驱动的图注意力网络（AD-GAT）来捕捉属性驱动的动量溢出。这些模型在实验中均优于GCN、eLSTM和TGC。
2.4 Transformer
Transformer（图5d）是一个基于self-attention机制的深度学习模型，旨在解决序列到序列的任务，同时处理长期依赖关系。 CNN 通过创建二维信息的内部表示来擅长处理空间数据。此外，RNN 更适合涉及时间或顺序数据的任务，例如财经新闻、推文和股票价格时间序列。然而，RNN 可能难以处理长序列，因为模型可能会忘记远处位置的内容或混淆附近位置的内容。Transformer 通过利用自注意力机制和位置嵌入来处理句子来解决这个问题。因此，Transformer 模型在各种股市预测任务中都显示出了可喜的结果。
基于Transformer的模型 许多研究使用Transformer模型进行股票预测，通过捕捉长期依赖性。其中，Multi-Transformer、层次多尺度高斯Transformer和TEANet等被广泛应用。此外，利用文本信息作为输入进行金融新闻情绪分析，预测市场对文本中潜在信息的反应。收集社交平台和财经新闻文章的数据，然后输入张量Transformer进行模型训练。还有研究提出基于Transformer Encoder的Capsule网络和基于分层Transformer的多任务模型等解决方案，用于预测短期和长期资产波动性，其中HTML模型还使用了音频数据进行预测。Chen等人引入了门控三塔式Transformer作为提取和整合多元股票时间序列的解决方案，通过实施移位窗口塔式编码器和具有多时间聚合的移位窗口塔式编码器，以及采用普通的Transformer编码器作为文本塔式编码器，来实现复杂的文本特征提取。
预训练语言模型 BERT是一种基于Transformer架构的语言模型，通过两种独特的训练方法（掩码语言建模和下一句预测）来理解单词之间的关系和句子之间的长期依赖关系。BERT的预训练模型可以针对特定用例进行微调。财务新闻被认为是股票市场分析的重要信息来源，对股票回报的影响已被充分证明。一些研究人员提出，除了仅依靠文本中的情感来进行股票市场预测之外，新闻评论还可以影响投资者的情绪，并最终影响他们对市场趋势和投资决策的估计。BERT在股市中的用途不仅限于预测价格或走势，还可以用于检测预定义的交易事件等。此外，还有一些研究使用了BERT来进行投资者评论的评估和分类，以及股票预测。
2.5 强化学习模型
RL（图5e）是一个允许通过与环境交互进行学习的框架，如图6所示。在股票市场中，强化学习用于设计交易策略和管理投资组合。RL 中的关键概念包括马尔可夫决策过程 (MDP) 、代理、环境和奖励信号。强化学习问题可以表述如下：智能体通过与环境的交互来优化其策略。具体来说，代理由状态和策略组成，在时间 t 时由 𝑆𝑡 和 𝜋 表示。当智能体与环境交互时，会收到奖励𝑟，并且智能体的状态会更新为𝑆𝑡+1。如果下一个状态仅依赖于当前状态，则决策过程被视为马尔可夫。
图6. 在金融交易领域，主体（交易者）与环境（金融市场）之间的互动至关重要。强化学习算法通过将金融市场和交易者分别视为环境和代理来利用这种交互作用。在代理内，不同的RL算法可能会结合使用策略网络和 Q 网络。金融中的财务数据和回报可以被视为强化学习中的状态𝑆和奖励𝑅，而交易交易可以被视为强化学习中的动作𝐴。
2.5.1 模型无关强化学习。 模型无关强化学习算法是近几十年来发展起来的一个分支， 它允许智能体在不需要了解环境模型的情况下学习。这种学习方法使得智能体能够通过直接与环境互动来学习如何做出决策，从而实现自我优化。在模型无关的设置中，策略梯度、Q-learning和混合算法在金融市场上得到了广泛应用。
策略梯度。 策略梯度（Policy Gradient）通过直接优化策略来求解强化学习问题。与基于值函数的传统强化学习算法不同，策略梯度算法通过采样经验来估计每个动作的期望回报，并计算策略梯度的估计值，然后使用梯度上升方法来更新策略的参数。在机器人控制、游戏智能等领域得到了广泛应用。 策略梯度算法可以处理连续动作空间、可以直接优化期望回报等。然而，它难以选择合适的策略参数化形式、难以处理高维度状态空间等。
Q-learning。 Q-learning通过学习一个动作的价值函数（或Q函数）来选择最优的动作。这个价值函数，用于衡量在特定状态下采取特定动作的期望收益。 Q-learning算法基于一种名为马尔可夫决策过程的理论，其基本原理是“最大未来折扣回报”。在实践中，Q-learning已经被应用于各种领域，例如游戏、机器人学、自然语言处理等。它具有很强的适应性，可以处理不同类型的问题，并且不需要环境模型的先验知识。然而，Q-learning其学习过程可能需要大量的时间和实验，并且在某些情况下可能会出现探索与利用的权衡问题。 混合算法。 混合算法是一种结合了多种不同算法的算法，旨在综合利用各种算法的优点，达到更好的效果。混合算法通常包括随机算法、启发式算法、贪心算法和动态规划等。混合算法在求解复杂问题时通常能够取得更好的效果，因为它可以充分利用各种算法的优点，从而更好地适应不同的问题场景。 混合算法可以应用于求解图的最短路径问题、机器学习、优化问题、组合优化等。2.5.2 基于模型的强化学习。近年来，基于模型的强化学习算法在RL领域越来越受欢迎。这些算法使用参数化的近似器来模拟MDP的动力学，从而可以根据特定状态和动作获得奖励和下一个状态。相比基于模型的RL算法，它们具有几个优点，包括提高数据效率、有趣的探索策略、结合本地和全局学习以及在转移学习场景中的实用性。基于模型的RL已被用于开发几种交易算法，例如高斯逆RL方法纳入投资者情绪，以及使用动力学转换模型进行训练并转移到真实环境的交易策略。此外，基于模型的RL还应用于投资组合管理任务，显示出盈利性和鲁棒性。Briola等人也通过构建使用PPO算法的端到端DRL代理采用基于模型的方法，利用有限的订单簿数据实现了长期回报。
2.6 其他深度学习方法
在事件驱动的股票预测领域，使用指标数据源存在两个关键问题：(1)单个数据源的可靠性低；(2)缺乏对多个数据源之间相互作用和相关性的理解。
为了解决这些问题，Zhang等人开发了一种耦合矩阵和张量分解方法，通过创建定量特征矩阵、构建矩阵、提取事件和情感，并应用耦合矩阵和张量分解，能够有效地填充稀疏张量中的缺失值，从而进行准确的预测。Xu和Cohen提出了Stocknet模型，利用Twitter数据和前五天价格数据的文本和价格信号来预测第六天的股票走势。Wang等人引入了基于copula的对偶性对比性预测编码（Co-CPC）方法，考虑股票类别、行业和相关宏观经济变量之间的依赖关系，通过最小化数据和模型的不确定性来捕获耦合。Duan等人提出了一种目标特定的抽象指导新闻文档表示模型，用于提取最具信息性的内容。FactorVAE将动态因子模型与使用变分自动编码器进行噪声建模相结合，通过将因子后验因子模型近似为未来信息，可以有效地指导学习过程。
3 数据集和模型输入
3.1 数据集
在股票预测领域，机器学习模型使用的数据集因不同股票市场的视角而不太。预测股票价格和价格走势两个任务最受关注。大多数使用强化学习（RL）的研究围绕开发交易策略展开。数据集可分为内在数据和外在数据，内在数据主要包括历史股票价格、财务指数和技术分析数据等，外在数据则包括文本、基础数据和工业知识图谱等。该领域研究使用的数据集涵盖的时间范围很广，从几个月到十年或更长时间不等，且来自不同地区，以美国市场为基础，但也包括中国、日本和印度等市场的数据。表1列出了包含国家信息的常用股票市场缩写。
（1）股票价格。股票价格被认为是股票市场表现的直接反映，并常被用作各种模型中的输入特征和预测目标。在本调查中，使用股票价格很普遍，但根据模型设计的不同，它以开盘价、最高价、最低价和收盘价等多种形式被使用。
（2）技术分析工具。技术分析工具在传统的股票分析中很常用，常常通过MACD、RSI等指标来进行股票趋势的分析。
（3）宏观经济数据。宏观经济数据反映了特定地区的经济状况。与股票市场相关的两个常用指标是消费者价格指数（CPI）和国内生产总值（GDP）。这些指标可以洞察当前市场状况，并表明股票市场是处于增长还是衰退阶段。
（4）基本面数据。基本面数据是指关于一个经济实体的综合信息，包括财务状况、公司结构以及与股东共享的其他任何信息。然而，在深度学习模型中使用这种数据时，由于报告频率低、文本信息结构化不足等限制，只能利用一小部分数据。
（5）知识图谱。不同行业之间可能存在内在联系，例如，同一供应链上的企业会受到相同新闻的影响。最近的实验表明，将来自开放源码的知识图谱与传统的股票数据相结合，可以改善模型的表现。
（6）文本信息。文本信息包括广泛的来源，包括但不限于新闻文章、报告、社交媒体帖子和用户评论。由于大多数信息是非结构化的，因此情感分析是一种广泛使用的技术，通过深度机器学习来提取见解。可以将数据分类为各种类别，例如正面、中性或负面，以进行进一步的分析和利用。表1 股票市场的简略说明
3.2 输入特征
基于预测目标和数据集构成对输入特征进行提取和组织，大致可分为四组：时间序列、文本、知识图等。
（1）时间序列。由于许多模型都依赖于随时间建模股票价格，因此时间序列数据是股票预测中普遍存在的输入。预测的具体时间范围，例如日内或跨日，可以确定所使用数据的粒度，范围从分钟级到天级别。此外，在强化学习的背景下，可以将时间序列数据转换为环境，其中特征可以用于创建状态和奖励。这使得代理能够与环境互动并不断提高其决策策略。 （2）文本。文本信息包括多种信息源，如新闻和文章。人们认为这种类型的信息会对投资者的情绪产生连锁反应。不过，在用于模型之前，文本信息必须经过预处理和结构化，因为文本信息可能来源于不同的语言和来源。 （3）图。行业知识图谱是最常用的图，不仅可以展示合作者间的直接联系，也用来挖掘其内部关系，如上下游供应链。（4）其他。在股票预测任务中使用了不同的数据源，每个数据源都提供了独特的视角，包括图像数据和音频数据。这些数据被用作补充信息，例如，声音特征，如语调，可以表明说话人的情感。
4 模型评估评估指标在评估股票市场预测模型性能方面具有至关重要的作用，它们被用于比较不同模型所做的预测与实际值。在本文中，我们将现有的评估指标分为三类：基于准确性的、基于误差的和基于回报的。对于分类模型，常用的评估指标包括基于准确率的指标；对于回归模型，常用的评估指标包括基于误差的指标，如平均绝对误差（MAE）和均方根误差（RMSE）。基于准确性和基于回报的指标值越大，股票市场预测的效果越好；而基于误差的指标值越小，性能越好。
表 3 典型论文采用的三种评估方法 
4.1 基于准确性的评估指标
基于准确性的评估指标用于衡量分类器的性能。然而，仅仅使用准确性作为唯一的评估指标有时是不够的，因为它无法反映分类器在不同类别上的性能差异。因此，为了更全面地评估分类器的性能，我们可以使用其他评估指标，例如精确率、召回率和F1得分。准确率（Accuracy）。 准确率是最基本的评估指标，用于评估分类器的整体准确性。准确率指的是分类器正确分类的样本数与总样本数的比值 。公式如下：
TP（True Positive）表示实际类别和模型预测都是正类的情况。 TN（True Negative）表示实际类别和模型预测都是负类的情况。 FP（False Positive）表示模型预测为正类，但实际类别是负类的情况。
FN（False Negative）表示实际类别为正类，但模型预测为负类的情况。
精确率（Precision）。 精确率是指分类器预测为正样本的样本中真正为正样本的比例，反映了分类器对于正样本的识别能力。公式如下：
召回率（Recall）。 召回率是指真正为正样本的样本中被分类器预测为正样本的比例，反映了分类器对于所有实际正样本的覆盖程度。公式如下：
F1分数（F1 Score）。 F1分数是精确率和召回率的调和平均值，用于综合考虑精确率和召回率的表现，可以更全面地评估分类器的性能。公式如下：
此外，还有一些其他的评估指标，如AUC-ROC（ROC曲线下的面积）、基尼指数， 还可以采用交叉验证、混淆矩阵、特征选择等技术来进一步提高分类算法的性能。 这些评估指标各有优缺点，应根据具体的应用场景选择合适的评估指标。
4.2 基于误差的评估指标
基于误差的评估指标是指通过计算预测值与真实值之间的差异来评估模型预测准确性的指标，其中误差越小表示结果越好。常见的基于误差的评估指标包括平均绝对误差（MAE）、均方误差（MSE）、均方根偏差（RMSE）以及平均绝对百分比误差（MAPE）等。这些指标可用于评估模型在不同数据集上的预测效果，并根据误差大小来优化模型参数或调整模型结构。
平均绝对误差（MAE）。 MAE 用于计算预测值与实际值之间的平均绝对差值。MAE的优势在于它可以直观地反映出误差的大小，并且对于不同的数值范围具有一致的敏感性。然而，MAE对于离散程度较大的数据分布可能不够稳健，而且无法提供关于数据分布的更多信息。公式如下：
均方根偏差（RMSE）。 RMSE是一种常用的误差度量方法，用于评估预测或测量数据的准确性。它计算的是实际值与估计值之间的平均平方根差，可以提供一种量化误差的方法。RMSE的值越小，说明预测或测量数据的准确性越高。公式如下：
平均绝对百分比误差（MAPE）。 MAPE是一种用于衡量预测或估计模型准确性的指标，它计算预测值与实际值之间的绝对百分比误差的平均值。MAPE可以用于比较不同模型或不同数据集的预测效果，通常越小表示模型越准确。然而，MAPE有一些局限性，例如对异常值敏感，不能处理负数等。公式如下：
使用基于回报的评估指标有效地评估股票市场预测的准确性。金融中用于评估收益的两个常用指标是投资回报率（IRR）和夏普比率（Sharpe Ratio）。这些指标的值越高，预测效果越好。
投资回报率（IRR）。 IRR是一种用于衡量投资绩效的度量标准，它计算当前时间（pt）资产价值与上一时间（pt-1）资产价值之间的百分比差异，再除以上一时间（pt-1）的资产价值。公式如下： 
夏普比率（Sharpe Ratio，SR）。 SR是一种用于衡量投资回报与风险之间关系的度量标准，它计算投资回报与无风险利率之间的差异与投资回报的标准差之间的比率。公式如下：
其中，𝑅𝑡表示回报，𝑅𝑓表示无风险利率，𝜎表示回报的标准差。
平均年度回报率（AAR）。 ARR是一种用于衡量共同基金的历史平均回报率的度量指标。与内部收益率（IRR）不同，AAR以年度为基础计算回报率，适用于评估长期投资的表现。 AAR的计算通常涉及将投资期内总回报除以投资期内的平均本金，并乘以投资年数。
5 总结展望
股市预测任务极大地促进了机器学习的进步，特别是在自然语言处理（NLP）和强化学习（RL）领域。然而，为了进一步完善和发展该领域，仍然存在一些潜在的研究方向和悬而未决的问题需要解决。
-
提 高股市预测 模 型 的泛化能力。 机器学习模型的泛化能力是指在未见过的数据上进行准确分类或预测的能力。在股市预测中，深度学习模型需 要具 备高度时不变性和强大的泛化能力。传统方法难以泛化到真实交易场景或在某些未见过的数据子集上表现不佳。最近的研究表明，将自监督学习任务纳入分类任务可以改善泛化能力。在股市预测领域，探索现有或开发新的自监督学习方法来增强泛化能力是一个充满前景的方向。
- 将深度学习技术与在线学习方法相结合。 在线学习是一种利用在线培训结果反馈来优化模型的培训方法，特别适用于减轻股票市场波动性、不确定性和高噪音因素的影响。它能够自动更新模型并控制预测结果与期望值之间的差异，对于股票市场投资策略具有很高的价值。此外，在线学习还可以应用于处理突然变化的时间序列，如检测道琼斯工业平均指数的每日结果变化。整合在线学习和机器学习对于股票市场预测具有巨大的潜力。
- 改进股市预测的评估和数据集。 目前许多股市预测模型仅评估中间绩效指标，缺乏对实际交易系统的支持，且缺乏统 一的盈利能力评估标准。新模型应该评估与财务相关的指标，包括利润标准、风险标准和风险利润标准。此外，股市预测任务缺乏统一的基准数据集和清晰的任务描述，这阻碍了该领域的进步。
- 改进股市预测的时间序列异常检测。 在金融市场不稳定的情况下，从数千只股票中快速识别表现不佳的股票是一个实用的问题。常见的股市预测模型未能考虑异常值，因此需要时间异常检测来捕获最佳交易点，降低投资风险。该模型还可用于多个金融时间序列数据集的建模和异常检测。因此，设计一种基于时间序列异常检测任务的更好机制是未来重要的研究方向，以便在现实世界交易中捕获预测任务的最佳交易点。
- 股市预测的多任务持续学习。 持续学习是一种允许神经网络在连续的任务中积累知识 、 减轻灾难性遗忘的 技术 。在股票预测任务中，持续学习模型可以自主获取新技能、适应新情况、完成新任务，以应对股市环境的剧烈波动。现有的股票市场预测任务在单个数据集上评估单个任务，持续学习方法有助于同一个模型输出多个任务，同时对多个任务进行评估，提高了准确性。
- 利用分布式强化学习进行股票交易。 金融市场的波动性和噪音使得量化交易算法在平衡利润和风险方面具有挑战性。分布式强化学习是一种可能的解决方案，通过使用定义的随机变量形成分布式贝尔曼等式，超越了传统的方法。分布式强化学习可以提供更多关于收益分布的信息，降低风险或提高稳健性，并且在Atari游戏中的算法得分高于人类玩家。然而，在金融交易中的应用仍需进一步探索，因此值得探讨其在这一领域的潜力。
- 将股票交易视为部分可观察的马尔可夫决策过程。 强化学习算法在金融交易中广泛应用，其中包括无模型方法。然而，这些方法不能准确反映金融市场的开放和不断变化的性质。未来的研究有两种解决方案，一是收集所有交易以充分观察动态，这需要大量的存储和计算资源；二是使用基于模型的强化学习方法来近似动力学，这种方法具有相当大的潜力，值得探索。使用过渡动态模型可以进行更长期的规划。
关注👇公众号，回复【SDGP】可下载原文献
