特斯拉FSD智能駕駛算法經歷了怎樣的發展階段？

從感知-規劃-控制模塊化到端到端，VLM/A是基于模型的強化學習。

過去 10 年間，特斯拉 FSD 幾乎在全球范圍內牽引著智能駕駛產業的發展，因此我們認 為，詳細梳理特斯拉 FSD 模型算法的發展變化對于理解智能駕駛的模型算法具有綱舉目 張的重要意義。2022 年的 Q4 財報會議上，馬斯克曾宣稱：“在自動駕駛領域特斯拉處 于遙遙領先的絕對第一”。英偉達 CEO 黃仁勛在接受外媒采訪時高度評價“特斯拉在自 動駕駛方面遙遙領先。特斯拉 FSD V12 真正具有革命性的一點是，它是一個端到端的生 成模型。”

我們認為，特斯拉 FSD 智能駕駛算法自 2014 年共經歷三大發展階段：2014-2016 年，以 Mobileye 為代表的“模塊化”規則驅動算法主導智駕領域。這一階段，以 Mobileye 為代表的主流廠商通過人工編寫代碼定義駕駛場景（如物體識別、 路徑規劃），模塊化分割感知、決策與控制環節。核心問題在于：1）長尾場景覆蓋 不足：依賴有限規則庫，難以應對復雜動態環境（如特斯拉 Model S 2016 年因算法 無法識別白色拖車導致致命事故）；2）誤差累積與延遲：多模塊串聯導致信息傳遞 效率低，決策延遲顯著，且在傳遞過程中會不可避免地存在一定程度的信息損耗和復 合誤差；3）開發成本高企：需海量人工標注與代碼編寫，維護成本高，難以規模化 迭代，同時，為保證感知模塊中定位部分的準確，有些公司會使用高成本的高精地圖。 2016 年 5 月，全球首例配備 Autopilot 的 Model S 發生致命事故，事故原因在于算 法無法區分白色拖車和天空（事故車輛車載傳感器為毫米波雷達+攝像頭），導致同 年 9 月特斯拉和 Mobileye 終止合作。

2017-2022 年，感知模塊逐步引入 BEV+OCC 架構實現“端到端”。端到端本質上 是使用一個獨立系統，代替分散的模塊進行駕駛的結構；是基于統一的神經網絡，從 原始傳感器數據輸入直接到控制指令輸出的連續學習與決策過程。全程不涉及任何 顯式的中間表示或人為設計的模塊，不再需要工程師窮盡駕駛中可能遇到的情況寫 無窮無盡的代碼。同時，集成化的系統表達也讓信息傳遞走向“零損耗”。2017 年， 特斯拉首先引入 CNN 網絡進行圖像識別。2021 年，特斯拉提出 BEV，通過“鳥瞰” ——類似鳥類從高空俯視地面的角度，使用八個攝像頭（視覺）捕捉道路和汽車周圍 環境的 2D 圖像，進而使用 Transformer 將平面圖轉化為 3D 向量空間，幫助汽車 準確地感知路面情況。此外，在現實駕駛情景中，還存在大量長尾問題——例如路面 的不規則物體和數據集以外的情況，導致視覺系統無法識別所有物體，進而引發安全 事故。而人類司機在真實行駛過程中其實并不需要認識所有路面物體，只須意識到需 要繞行即可。參照這個理念，特斯拉在 2022 年推出 Occupancy 占用網絡，從識別 檢測進化到識別占用。OCC 將世界劃分為網格單元，進而定義單元是空閑還是被占 用，不以認識分類為第一優先級，而以空間占用作為第一測量目標。BEV+OCC 同樣 通過 Transformer 實現，最終輸出 Occupancy Volume（物體所占據的體積）和 Occupancy flow（時間流，即物體所占據某個位置的時間）。時間流一般通過光流法 判斷，光流法假設構成物體的像素亮度恒定且時間連續，通過對比連續兩幀圖像中的 像素位置變化，生成 4D 投影信息。總的來說，OCC 將 BEV 融合空間從 2D 真正升 維至 3D，并且在加入時間流信息（基于光流法）之后，完成了由 3D 向 4D 的過度， 大大提升了系統的泛化能力

2023 年至今，追求“一段式端到端”。2022 年后“端到端”算法受到智駕業界廣泛 追捧，2023 年 8 月，特斯拉發布 FSD V12，將 FSD 原本 30 多萬行的 C++代碼砍 到 3,000 行，進一步展現出“端到端”算法的效率優化幅度。“端到端”算法目前主 要分為“一段式”和“兩段式”兩大流派：1）“一段式”方案是將感知、決策、規 劃等模塊整合到一個模型中，從傳感器輸入外部環境信息，直接輸出自車的行駛軌跡。 一段式端到端本質是一個黑盒系統，缺乏透明度，工程師很難去 debug 下限很低的 問題，因為不知道問題出在哪里。2）“兩段式”方案通常由兩個部分組成，即感知模型 和規控模型。信息在經過感知模型過濾后，再到規控模型。兩段式的好處在于從感知 到規控不是完全黑盒，可以進行 debug 系統在決策時的邏輯，因而有更好的可解釋 性、安全性。但兩段式的方案信息經過感知模型過濾后，再到規控模型，損失較多， 同時還會面臨無法全面理解整個復雜場景、泛化能力和解決 corner case 的能力較弱 等問題。因此不難理解，這種“兩段式”的方案——也被稱為顯式端到端，會因存在 某些“模塊化”算法的弊病，而被質疑并非真正意義上的“端到端”。 目前，一段式“端到端”仍是國內外車企智駕模型迭代的主要發力方向，而在傳統端到端 以外，VLM、VLA 等慢思考模型也逐漸發展成熟，進入上車前夕。 理想 2025 年 3 月發布了自研的 MindVLA，采用其 24 年首創的端到端+VLM 的雙系統架 構，通過分化日常駕駛情景和復雜未知情景，提供相對明確的糾錯路徑。其中，系統 1 是 快系統，主要負責應對駕駛車輛時 95%的常規場景，只須輸入傳感器數據，不需要高精地 圖等先驗知識，完全由數據進行驅動；系統 2 是慢系統，由 VLM 視覺語言模型實現，具 備邏輯推理、復雜分析和計算能力，在駕駛車輛時用于解決復雜甚至未知的交通場景，占 日常駕駛的約 5%。系統 2 的 VLM 通過思維鏈 CoT 做復雜的邏輯分析，并將決策結果 反饋給系統 1，系統 1 和系統 2 相互配合，確保大部分場景下的高效率和少數場景下的高 上限。MindVLA 計劃在 2025 年 7 月前后和理想 i8 同時首發。

華為 25 年 4 月發布了乾崑 ADS4，ADS4 采用了 WEWA 技術架構——分別是 World Engine 世界引擎和 World Action Model 世界行為模型。世界引擎與行為模型是 ADS4 在 云端、車端的技術核心，其中，世界引擎通過 AI 生成 Corner Case 訓練模型解決長尾問 題，而世界行為是華為的原生模型，不僅避免了使用開源大模型可能招致的時延大、效率 低的問題，還能夠將傳感器的視覺、觸覺、聽覺感知信息轉換為 Token 數據，進而幫助系 統生成軌跡控制。

2025 年 7 月，小鵬 G7 發布會上，首發智駕“大腦+小腦”VLA-OL 模型，即將上車小鵬 G7。何小鵬在發布會上表示，在高算力支持下，小鵬 G7 在軟件層面首發本地部署的 VLA （視覺語言動作模型）+VLM（視覺語言大模型）模型及“大腦+小腦”VLA-OL（視覺-語 言-動作）模型。VLA 能讓車輛像人類一樣理解、推理和決策，在復雜場景中展現出更加 類人的判斷；VLM 視覺大模型是幫助車輛理解世界的“AI 大腦”、“VLA 大模型的目標 是實現超端到端 10 倍的智駕能力。”

我們認為，傳統端到端與 VLM、VLA（現階段車企的 VLA 實質上是 VLT，也就是視覺、 語言、軌跡模型，并未真的能夠下沉至執行控制環節）的本質區別就是無模型的強化學習 與基于模型的強化學習之間的區別。我們重申，是否應用基于模型的強化學習對于智能駕駛 而言也許僅僅是一個“好用”與“可用”之間的區別，而對于一臺通用人形機器人而言，是否 應用基于模型的強化學習則會直接導致“可用”與“不可用”的區別，因為未經“思考”的動 作無法使得機器人具備不同場景下的通用泛化性，而“思考”則是模型內部對未來進行模擬仿 真的過程。