Meta核心亮點在哪？

Meta 首創工業級生成式推薦系統。

Meta 借鑒 LLM 思想重塑推薦系統的工作 HSTU《Actions Speak Louder than Words: Trillion-Parameter Sequential Transducers for Generative Recommendations》于 2024 年 2 月發 表。該工作第一次脫離了過去 10 年工業級主流的深度學習推薦系統架構，使用 LLM 思想 探索生成式推薦系統，并首次驗證了大語言模型的 Scaling Law 同樣適用于推薦系統，是 工業級推薦系統生成式推薦與大規模 scaling 的開創性工作。 工業界主流的深度學習推薦模型（DLRM）依賴大量的特征和海量用戶行為，但難以 進一步對模型規模 scaling。Meta 最大的創新點是提出了生成式推薦器 GR 取代 DLRM。 1) Meta 對 DLRM 中的異構特征空間進行統一，將推薦系統的召回排序重新表達為 GR 中的序列參數。這使得模型可以以生成式的方式進行，在相同計算量的情況 下訓練更多數據。

2) 用新的編碼器 HSTU（Hierarchical Sequential Transduction Unit）將 GRs 擴展到大 型、非平穩詞匯表的工業級推薦系統。核心創新點包含： 用單個模塊替換 DLRM 的異構模塊，通過 HSTU 層實現成對注意力 （Pairwise attention）和目標感知池化（target-aware pooling）。 引入新的點向聚合歸一化注意力機制，并通過隨機長度（SL）提高用戶歷史 序列的稀疏性，最小化激活內存使用量，并提出 M-FALCON 算法，在排序 任務中使得模型復雜度跟傳統 DLRM 排序對象數量呈線性增長，實現了在推 理預算不變的情況下，雖然模型計算復雜度高出了 285 倍，但是模型的吞吐 量(QPS)提高了 1.5-3 倍。 3) 從實驗結果來看：在具有數十億日活躍用戶的大型互聯網平臺部署，驗證了方法 的有效性（排序模型和召回模型分別相比于 DLRM 提升 6.2%和 12.4%)，且成功 驗證了推薦算法上的 scaling law，證明了 GR 顯著更好的可擴展性。

Meta 在 2025 年 8 月發表的最新文章《Realizing Scaling Laws in Recommender Systems：A Foundation–Expert Paradigm for Hyperscale Model Deployment》，該文章在繼 2024 年提出生成式推薦器 HSTU 之后，進一步探索如何將 Scaling Law 高效的落地到工業 級推薦系統部署，并提出了“Foundation–Expert Paradigm”替代監督微調/知識蒸餾，旨在 解決超大規模推薦系統中基礎模型部署的效率和擴展性難題，并提高了模型的泛化能力。 核心創新點包含： 1) Foundation–Expert 兩階段范式：將通用的“Meta Knowledge”獲取集中在基礎 模型（FM）中，然后再通過目標感知嵌入有效的轉移到輕量級專家模型中提升效 率，實驗顯示指標遷移率高達 0.64-1.0。 基礎模型：HSTU 作為共享的基座模型，建模用戶長期跨平臺歷史數據和候 選物品，生成“目標感知 embeddings”； 專家模型（加快迭代周期、專注特定優化）：接收基礎模型的“目標感知 embeddings”，專家模型也有自身輕量級的 HSTU 捕捉短期的、不同業務場 景（廣告、電商、視頻推薦等）的信號； 融合模塊：FM 融合模塊將代表長期興趣的處理后嵌入與專家自身 HSTU 模 塊輸出的代表短期興趣的嵌入相結合。

2) 構建 HyperCast 端到端基礎設施系統：實現了 FM 和專家模型的迭代解耦、支持 在線流式訓練，能實現了幾分鐘內刷新模型，且不中斷服務。 3) 實驗結果顯示：模型性能優勢突出、FM 向 Expert 知識傳遞率達 0.64-1.0，且泛化 能力驗證有效。在 “點贊、分享、視頻完播” 等核心任務中，TAE 的 NE 降低 幅度（2.13-3.02%）是傳統用戶嵌入（0.64-1.15%）的 2.8-3.3 倍。并且在 Meta 大規模推薦場景 AB Test 中，點擊率（CTR）、轉化率（CVR）和收益指標全面 提升。參數冗余降低超過 30%，推理延遲也保持在毫秒級。

2020-2024 年期間，Meta 廣告收入增速受“蘋果隱私新規”影響降速后，后靠自身推 薦系統改善恢復高速增長，且增速超過 Google。 Google 與 Meta 在蘋果隱私新規出臺后的表現分化明顯。2021 年 iOS 14.5 推出 App Tracking Transparency（ATT）政策后，Meta 廣告業務受沖擊最大，精準投放能力下降， 2022 年廣告收入增速大幅下滑至 3.3%。相比之下，Google 廣告業務更多依賴搜索和 YouTube 等自有生態的數據，受影響相對較小，韌性更強。 2023-2025 年, Meta 廣告收入增速維持雙位數，持續優于谷歌，其業內首個生成式推薦 系統 HSTU 通過精準推薦、拉長用戶時長、提升廣告轉化效率，構建“內容-推薦-廣告”協 同閉環，成為驅動增速領先的核心引擎，體現 AI 驅動的廣告效率提升。 根據 Meta 公布的 2025 二季報，AI 驅動的廣告推薦模型提升效率，Instagram 廣告轉 化率提升 5%、Facebook 提升 3%；生成式 AI 廣告貢獻可觀收入，對小型廣告主價值顯 著。