一文读懂:顶会 2019KDD AlphaStock:使用可解释的深度强化网络和注意力机制的投资策略

大家好, 我是Lucy@FinTech社区。

今天的文章内容是:《使用可解释的深度强化网络和注意力机制的投资策略》一文的详细解析。

欢迎大家添加微信fintech12,或扫描底部微信,加入FinTech社区,提认知,攒人脉,求职招聘!

 

一、论文背景

近年来,金融创新和人工智能技术在包括定量交易(QT)在内的各种金融应用中取得了成功的结合。

尽管致力于利用深度学习(DL)方法建立更好的QT策略的大量研究工作,但现有的研究仍然面临着严峻的挑战,特别是从财务方面来看,例如风险和回报的平衡,对极端损失的抵抗以及可解释性。

战略,限制了基于DL的战略在reallife金融市场中的应用。

在2019 数据挖掘顶会KDD中,来自北航,清华的研究者提出了AlphaStock一种基于强化学习(RL)的新型投资策略,通过可解释的深度强化学习网络和注意力模型来解决上述的挑战

 

主要贡献:

将深度关注网络与夏普比率导向的强化学习框架相结合,以实现风险回报均衡的投资策略;

我们提出对于资产之间的相互关系进行建模,以避免选择偏差并创建一种跨资产的注意力机制。
 

这项工作是第一批使用深度强化学习模型提供可解释的投资策略之一。在美国和中国市场上进行的实验证明了AlphaStock在多种市场状态下的有效性和稳健性。

 

二、 模型讲解

2.1 重点一览

一般来说,目前的有监督深度学习预测资产价格的主流方法是提取多维度信号并且使用历史原始特征预测资产价格,相比之下深度强化学习是设计投资策略时更直接的做法
 

AlphaStock的作者们主要关心三个点.

平衡汇报和风险--大部分现有的深度学习方法都只聚焦价格预测而忽略了风险;

建模资产之间的内部关系--现有的深度学习投资策略很少关心资产相关性建模;

解释投资策略--很久以来深度学习系统被认为是不可解释的黑箱,从而不能用以投资;
 

因此他们针对性地提出了三个方案.

夏普比率作为目标函数,用强化学习框架来最大化夏普比率从而取得回报和风险的平衡。

采用“buying winners selling losers” BWSL策略,专注于基于相对表现来选择赢家/输家来从相关性中得到一定的优势。

使用敏感性分析来解释为什么一个资产会被AlphaStock选择从而给予模型一定的解释性。

 

2.2 投资策略

AlphaStock 提出的BWSL策略有一个多头组合b+和一个空头组合b-

b+中的资产有更高的增值的可能性,被称为“赢家”winner,b-中的资产相比之下增值率较低,被称为“输家”loser

其整体模型结构如图:

 

可以发现其架构明确而简单,通过输入一组股票的历史状态,使用LSTM结合注意力分别获取其时序特征,然后使用跨资产注意力机制网络提取其不同资产间的关联性。

同时结合了前置的价格增长排名参数来最终得到该组中每一个股票的赢家得分。

接着,对这一组股票的赢家得分进行排序,AlphaStock 会购买排名高的并且卖出得分低的股票。整体模型使用梯度上升法来最大化夏普比率。
 

2.3 可解释性

研究者们使用偏导数定义每一个输入并被提取出的特征对于最后的赢家得分的影响力,然后定义其平均影响力,再根据面向的一组中所有的股票和不同的持有周期,进行影响力的估算,来得到每一个输入特征对于我们最终重要的指标赢家分数的影响。从而解释为什么一些股票更加值得投资。关于估算的具体方法和公式,可以阅读原文来复现。
 

三、模型验证与市场结论

在论文的验证阶段,根据实验结果AlphaStock(AS) 相对于目前的传统方法和其他深度学习模型都有更好的表现

具体其他方法和指标可以参阅论文细节。其中中国市场的结果可以展现AS模型不错的鲁棒性(抗干扰抗风险)。

并且由敏感度分析的结果,AS 更加倾向于选择有 高的长期增长,低波动,高内在价值,并且在近期被低估的股票
 

可以说这篇研究的重点就是:

提出了一种发掘利用资产间关联关系的使用BWSL策略的强化学习模型AlphaStock

使用了敏感性分析方法来一定程度上解释模型对于优质股票的选择基准

基于中美市场的实验较为有力地证明了模型的可行性
 

四、讨论

带领大家提纲挈领地阅读了这篇文章,可以发现整个模型言之有理。

其中重点提出相关性和可解释性都是在当下结合深度学习技术和投资得场景中大家都非常关心的点,研究的结果也一定程度上通过实践对预期进行了验证,可以是一次很不错的新技术综合和尝试。

那么大家阅读完之后有什么感触呢?在补充阅读了原文之后又有什么样的感想呢?在可行性得到论证之后如何体现强化学习等方式的优越性?

如何更系统地区分出特征工程对于投资结果的贡献?如何分别考虑选股和择时的操作呢?

欢迎添加微信:fintech12,加入FinTech社区与大家一起讨论!


 

近期热招: (点击标题,即可了解详情) 

招聘 | Java开发工程师-领先期货公司-上海
 

招聘 | HR Manager-领先量化交易公司-上海
 

招聘 | HR-领先对冲基金-深圳
 

招聘 | 期权量化研究-领先期货公司-上海
 

招聘 | 期权做市交易员-领先期货公司-上海