基于分层强化学习的日内风险因子挖掘

文章预览

传统上，风险因素通常由专家手动设计，例如贝塔系数、规模/价值因子以及动量因子等。然而，这些因素在捕捉股票收益波动性时，往往滞后于市场动态。此外，统计模型如主成分分析（PCA）和因子分析在捕捉非线性关系方面也存在局限。尽管遗传编程（GP）在自动识别非线性因子方面取得了进展，但其生成的因子公式通常过于复杂，且缺乏对因子质量的内在评估机制。为应对这些挑战，本文提出了一种基于迁移选项的分层近端策略优化（HPPO-TO）框架，用于自动生成和评估因子。该框架利用两个PPO模型：一个高层策略和一个低层策略。高层策略学习并分配股票特征的权重，而低层策略通过组合诸如sin()、+、**和/等运算符来识别潜在的非线性关系。生成的因子与实际收益波动性之间的皮尔逊相关系数作为奖励信号，量化因子的有效性。此外，通过在 ………………………………