端到端自動駕駛架構演進歷程與路徑分析

當前智能駕駛已分化出兩條核心路徑——VLA和世界模型.

1.端到端智能駕駛演進歷程

第一階段：感知“端到端”/“BEV+ transformer”（2021年由特斯拉提出）：自動駕駛架構拆解為感知與預測決策規劃兩大模塊。感知模塊借助多傳輸器融合的BEV 技術達成模塊級“端到端”，引入transformer與crossattention方案，顯著提升檢測精度與穩定性，而規劃決策模塊仍以傳統Rule-based方法主導。

第二階段：決策規劃模型化/“占用網絡”（2022年由特斯拉提出） ：架構模塊組成維持不變，感知端延續前代解決方案。預測決策規劃模塊迎來重大革新，將預測、 決策、規劃功能整合至同一神經網絡。盡管感知與決策規劃均采用深度學習，但模塊接口依人類理解定義，各模塊仍獨立訓練。

第三階段：模塊化端到端/兩段式端到端：(小鵬、華為、極氪當前應用方案）整體結構與上一階段相似，網絡結構細節與訓練方案卻大不相同。感知模塊不再輸出人 類可理解結果，轉而輸出特征向量，預測決策規劃模塊依此生成運動規劃。兩模塊輸出轉變，訓練時必須通過梯度傳導，實現跨模塊聯合訓練。

第四階段：OneModel/一段式端到端： (特斯拉、理想、Momenta當前應用方案）此階段打破感知、決策規劃等功能界限，從原始信號輸入到最終規劃軌跡輸出，全程 由單一深度學習模型完成。OneModel可基于強化學習、模仿學習實現，也可由世界模型衍生，實現高度集成與智能化。

端到端智能駕駛第一階段

定義：BEV（Bird’s Eye View，鳥瞰圖視角）是在自動駕駛跨攝像頭和多模態融合背景下形成的一種關鍵視角表達方式。其核心思想是將傳統基于 2D 圖像與測距的 感知方式，轉換為在鳥瞰視角下的 3D 感知框架，使環境信息的表達更加全面、直觀和具備空間連續性。從實現路徑來看，BEV 的核心在于以 2D 圖像作為輸入，輸出 可用于決策的 3D 場景框架。在這一過程中，如何高效地融合來自不同傳感器（攝像頭、毫米波雷達、激光雷達等）的特征信息，實現最優表達與空間映射，是技術實 現的重點與難點所在。

Transformer 是另一項推動智能駕駛感知能力快速演進的核心技術。它是一種基于注意力機制的神經網絡結構，由谷歌于 2017 年提出。與傳統的 RNN、CNN 不同， Transformer 并不依賴串行數據處理，而是通過注意力機制挖掘序列中不同元素的關聯關系，具備出色的特征提取與長依賴建模能力。這一特性使得 Transformer 能 夠靈活適配不同長度與不同結構的輸入信號，在多傳感器融合和環境建模中展現出顯著優勢。

在智能駕駛技術架構中，感知端到端一直是最早應用端到端技術的模塊之一，也是實現自動駕駛能力躍升的關鍵組成部分。在早期的智能駕駛系統中，端到端技術主要 集中于感知層，用于高效、實時地提取并融合環境信息。隨著算法和算力的持續演進，決策規劃等后端模塊也開始逐步引入端到端方法，推動整體架構從分層式向一體 化方向演進。

端到端智能駕駛第二階段

占用網絡重塑環境感知，夯實智駕基礎能力。占用網絡（Occupancy Network）是自動駕駛“環境感知”環節的重要底層技術，其核心思想是通過對三維空間進行體素 級劃分與占用預測，構建更高精度的全局環境表示。與傳統感知方法相比，占用網絡能夠有效彌補在“遮擋處理”“形狀精細建模”“全局環境認知”等方面的短板， 為后續的路徑規劃和行為決策提供更完整、更穩定的環境輸入。隨著算力持續提升與網絡結構優化（如動態體素劃分、稀疏卷積等），占用網絡正逐步成為高性能智能 駕駛系統中的關鍵模塊，尤其適用于結構復雜、目標密集的城市道路場景。

體素級空間建模提升環境刻畫精度。從本質上看，Occupancy Network 算法是一種 3D 空間分割任務。它通過將待感知的三維空間劃分為固定大小的體素網格，并利用 算法預測每個體素被目標類別占用的概率，實現對全場景的空間建模。這種方法不僅可以對已知的車輛、行人等目標進行精確刻畫，還能識別數據集中未被標注的“泛 目標”（General Objects），如土堆、石塊等，從而實現開放集目標檢測，提升系統的環境理解力。同時，相較直接輸出 3D 目標框的算法，占用網絡能對空間中的 每個體素單元進行建模，因此對于不規則形狀或邊界模糊的目標，能夠還原更豐富的幾何細節和結構信息，增強整體環境表達能力。

占用網絡增強三維表達，優于傳統 BEV 方法。與 BEV 方法相比，占用網絡的差異主要體現在目標表示方式上。BEV 采用二維平面投影，容易丟失高度信息與空間結構 特征；而占用網絡基于三維體素化網格，將物體分解為大量小立方體單元，能夠更準確地刻畫形狀特征。體素越小，環境分辨率越高，場景還原也越接近真實。占用預 測本身也可以與 BEV 結合——通過將體素化結果投影到鳥瞰圖，實現保留空間信息的同時增強占用可視化，使感知結果更直觀、可靠。

端到端智能駕駛第三及第四階段

模塊化端到端（OneModel）通過深度學習將傳統“感知—規劃—控制”流程統一映射到單一模型中，減少任務拆解帶來的累積誤差，并實現整體優化。目前， 特斯拉、Wayve、百度 Apollo、小鵬等企業均在加速布局相關技術路徑，這一方向正成為高階智能駕駛的重要演進路線。

技術原理方面，一段式端到端模型通常包含四大核心模塊：（1）感知編碼器：基于 CNN 或 ViT 提取攝像頭、激光雷達、毫米波雷達等傳感器的多尺度特征； （2）環境理解模塊：通過時序建模（RNN、時序卷積、Temporal Attention）融合多幀信息，識別動態目標、道路結構與交通信號；（3）決策預測層：輸出加 減速趨勢、變道意圖、轉向方向等駕駛決策；（4）控制生成器：將決策結果轉化為執行信號，實現車輛實時響應。

架構類型主要分為兩類：可解釋端到端（模塊化）：在端到端框架下保留中間感知或預測模塊輸出，兼顧可調試性與安全性，Wayve、小鵬等多采用此類架構； 黑盒端到端（One Model）：直接輸出軌跡/控制信號，代表如特斯拉 FSD，技術上限更高但可解釋性和調試難度較大。

2.端到端智能駕駛已分化出兩種核心路徑

當前智能駕駛已分化出兩條路徑。2024 年夏季以來，端到端（End-to-End）智能駕駛技術格局發生顯著變化，從 2023 年 “一家獨大” 的單一技術路徑，正 式演進為兩大核心路線并行發展的態勢。其中，第一條路線為以 “視覺 — 語言 — 行為”（Visual-Language-Action, VLA）鏈路為核心的架構體系，第二條 路線則是以物理推演為核心驅動力的世界模型（World Model）路線，VLA 和世界模型并不是完全對立，而是兩條目前并行發展的技術路線：VLA 適合快速迭代、 兼容現有量產平臺，短期內易于落地。世界模型則代表了更底層的認知方式，強調物理規律和空間理解力，適合長期演進。

 VLA架構：VLA 架構的技術邏輯遵循 “感知 – 理解 – 決策 – 控制” 的全鏈路語義化轉化，其核心流程可拆解為四步：首先通過圖像傳感器完成環境感知 與圖像識別；其次將視覺感知結果轉化為可被大語言模型理解的語言 Token（如 “前方 50 米有靜止車輛”“當前車道為潮汐車道”）；再由大模型基于語言 Token 生成符合人類駕駛邏輯的駕駛建議；最后將抽象建議轉化為具體的車輛控制軌跡，并通過實時反饋機制進行動態校正。

 世界模型架構：與 VLA 架構依賴 “語言中間層” 的技術邏輯不同，世界模型路線通過繞開語言轉化環節，直接將 3D 高斯表征、點云等空間感知數據輸入大 模型，在模型潛空間內完成物理規律推演（如車輛碰撞風險預判、行人運動軌跡預測），并直接輸出車輛控制指令，形成 “云端世界引擎 + 車端世界行為模型” 的技術架構 —— 云端世界引擎負責大規模場景的物理規律建模與預訓練，車端世界行為模型則基于實時感知數據進行快速決策。