金融工程研究報告：量化投資算法前瞻，強化學習.pdf

金融工程研究報告：量化投資算法前瞻，強化學習。強化學習算法充分模擬了交易決策者與市場的交互關系，從策略管理、因子組合到交 易執行，在量化投資的各個維度都提供了有效的模型和優化方法。 利用強化學習框架，本文構建了基于寬基指數日頻價量模型的擇時策略，遷移至行業 指數依然有效。強化學習算法為策略優化提供了新思路。

智能算法發展向金融領域滲透是趨勢所向，市場對強化學習關注程度提升

數據與算法快速發展，算力成本逐漸降低，通用人工智能發展向垂直領域滲透是 趨勢所向，強化學習在其他細分領域的里程碑式成績加速其在金融領域落地。

基于馬爾可夫決策過程，強化學習任務能充分模擬金融市場

強化學習算法的核心，是在馬爾可夫決策過程的基礎上，智能體通過與環境的交 互，從反饋信號中進行學習。智能體依據環境狀態，采取某種動作，對環境造成 影響。隨后，環境下一刻的狀態和該動作產生的獎勵將反饋給智能體。智能體的 目標是盡可能多地從環境中獲取總獎勵，總獎勵的定義是折現方式計算下的未來 獎勵之和。這種智能體-環境交互的情景能充分模擬交易決策者與市場的關系。

從組合管理到交易執行，強化學習算法的應用市場廣闊

在策略層面，強化學習算法針對傳統多因子模型的因子失效，以及傳統監督學習 模型退化、過擬合等問題，提供了有效的因子組合、策略組合工具，更好地適應 市場風格切換。在交易層面，以基于策略為代表的強化學習算法也提供了直接輸 出交易行為的下單算法。此外，強化學習在期權定價與對沖策略也有應用。縱觀 之下，從投資組合管理到具體的交易執行，強化學習算法在量化投資的多個領域 提升了邊際優化的空間。

以雙網絡 DQN 算法構建靈活的單資產擇時策略有明顯超額

本文實現了基于雙網絡 DQN 的單資產擇時策略，該算法中每隔一段時間間隔就 更新對動作和狀態價值評估的網絡參數，這種設定使得策略動態調整，及時適應 當期市場風格。以常見規模指數作為測試標的，中證 1000 指數擇時效果較優， 在 2019 至 2022 年實現了 111.14%的累計收益，相較于指數基準年化超額收益 15.6%，最大回撤和年化波動率均得到有效控制。以最優參數設置應用于申萬一 級行業指數，擇時策略在 11 個行業指數上取得了 10%以上的年化超額收益，在 食品飲料，商貿零售，建筑裝飾，及交通運輸行業指數上的風險收益比較高，表 明了強化學習策略框架應用于不同標的也能實現有效擇時，而不僅僅只是在個別 指數上過度擬合的結果。