Transformer架構下的量價選股策略：ChatGPT核心算法應用于量化投資.pdf

Transformer架構下的量價選股策略：ChatGPT核心算法應用于量化投資。ChatGPT 的廣泛應用：ChatGPT 是基于 GPT 模型的大型對話式語言 模型，具有高質量文本生成、代碼編寫等多項功能。隨著 ChatGPT 被 廣泛關注，GPT 模型逐漸成為人工智能領域的研究熱點，并開始應用 于其他領域。本篇報告將其核心算法 Transformer 應用于量化投資策 略。

自注意力機制：自注意力機制是 NLP 的一種數據處理方法，能夠有效 捕捉輸入序列各位置之間的關系。自注意力機制通過計算 query 向量 與 key 向量的相關性來加權平均 value 矩陣，得到輸出結果；而多頭 注意力機制則利用并行計算和拆分矩陣為多個頭的方式，在自注意力 機制的基礎上進一步提高模型訓練效率。

Transformer 架構：Transformer 架構是一種采用自注意力機制的神經 網絡模型，由位置編碼、編碼層和解碼層組成。位置編碼使用正弦和 余弦函數計算單詞位置信息，編碼器將序列中各位置之間關系的信息 進行編碼并輸出，解碼器則使用編碼器輸出的序列信息逐個預測輸出。 模型同時具備并行計算和高效捕捉關系的能力，被廣泛應用于自然語 言處理、圖像生成等領域。

基于 Transformer 架構的選股策略：本報告將 Transformer 模型應用 于股票漲跌預測中，選取個股漲跌幅和換手率作為面板數據輸入，通 過輸出股票未來漲跌概率進行分類。在月度調倉策略中，中證 500、 滬深 300 和全市場選股自 2020 年以來均獲得良好的相對收益與較強 的回撤控制能力。

相對于傳統神經網絡的優勢：1. 處理長期記憶；2. 變長輸入序列；3. 并行計算效率；4. 預訓練模型提高泛化能力。