端到端自動駕駛技術進展如何？

簡單的 One Model 端到端方案在自動駕駛發展早期就已 經出現。

1.早期端到端自動駕駛的關鍵成果

NVIDIA: DAVE-2 (2016)

2016 年 4 月，英偉達團隊發表了一篇名為 End to End Learning for SelfDriving Cars 的論文，展示了基于 CNN 的端到端自動駕駛系統 DAVE-2。 該系統通過一個卷積神經網絡（Convolutional Neural Network, CNN）處理 車輛前方的攝像頭圖像，并直接輸出轉向角度。訓練過程中，模型通過模擬駕駛 數據進行學習。該系統在不同類型的道路上展示了出色的駕駛性能，包括城市道 路和鄉村公路。Demo 展示了車輛在復雜的道路環境中能夠平穩駕駛，并對不同 的交通狀況進行適應。 DAVE-2 系統展示了端到端神經網絡在自動駕駛中的巨大潛力，打破了傳統 的模塊化自動駕駛系統框架，是近年來端到端自動駕駛領域的開創性工作。這項 研究證明了通過直接從數據中學習駕駛策略，可以大幅簡化系統設計，并提高適 應性和魯棒性。DAVE-2 為后續端到端自動駕駛研究奠定了基礎，推動了該領域 的快速發展。

Wayve: Learning to Drive in a Day (2018)

Wayve.AI 是一家英國的自動駕駛公司，2017 年成立于劍橋。2018 年 9 月， Wayve 發表了一篇名為 Learning to Drive in a Day 的論文。Wayve 展示了其自動 駕駛系統在短時間內學習駕駛的能力。與 DAVE-2 主要基于 CNN 的模仿學習方 法不同，Wayve 結合了強化學習和深度學習算法，強化學習能夠讓系統通過試錯 過程自我改進，適應不同的駕駛環境和情況，而不僅僅依賴于預先收集的大量數 據。該系統能夠在僅一天的訓練時間內，實現在復雜的城市環境中進行駕駛的能 力。Wayve 的 Demo 展示了車輛在倫敦的開放道路上成功應對各種交通狀況的表 現，包括紅綠燈、行人和其他車輛。

Wayve 的研究展示了基于深度強化學習的端到端系統的快速適應能力，證明 了端到端學習在處理復雜城市道路駕駛任務中的有效性。這項研究為自動駕駛系 統的靈活性和效率提供了新的視角，推動了快速部署和適應的可能性。

comma.ai: OpenPilot (2017)

comma.ai 是一家成立于 2015 年的美國自動駕駛公司，早期 comma.ai 通過手 機的后置攝像頭和手機計算芯片（驍龍系列），以及 comma.ai 研發的 Openpilot 自動駕駛軟件（2017 年首次發布，持續迭代），實現了性能優異的 L2 級自動駕 駛，2020 年曾被 Consumer Report 評為性能最佳的輔助駕駛系統，超越特斯拉 Autopilot 和凱迪拉克 SuperCruise。其與多達 200 余種車型的適配性，為 L2 級輔 助駕駛的大規模推廣提供了一種后裝的解決思路。 2020 年后，OpenPilot 逐漸轉向端到端神經網絡模型，被認為是第一個大規 模商業化的端到端自動駕駛產品。

同時，OpenPilot 是一個開源項目，通過開源和社區驅動的方式，comma.ai 在推動自動駕駛技術的普及和創新方面發揮了重要作用。其開放的開發平臺和工 具使得更多開發者能夠參與到自動駕駛技術的開發和改進中 。 遺憾的是，OpenPilot 并未公布其訓練數據和訓練細節。上海人工智能實驗 室深度解析了 OpenPilot 的 Supercombo 端到端神經網絡模型，并給出了其參考 架構和改進點。

2.近期端到端自動駕駛的重要進展

2023 年以來，模塊化端到端和 One Model 端到端都有了重大的進步。UniAD 提出了革命性的模塊化端到端方案，成為這一技術路線的基準范式；Wavye 的 生成式世界模型 GAIA-1，以及視覺 - 語言 - 動作模型 LINGO-2 可能是未來 One Model 端到端的重要基礎；FSD v12 作為一個可以感受的產品讓端到端技術路線 出現在更多人的視野中。本節將呈現這幾個重要進展的技術方案。

OpenDriveLab: UniAD (2023)

UniAD 代表了一種創新的全棧 Transformer 端到端模型設計，它通過集成多 個查詢組（query groups）來實現。在該模型的架構中，我們可以觀察到兩個關 鍵的感知模塊和兩個核心的預測模塊，以及一個至關重要的規劃模塊。這些模塊 的設計遵循了 Transformer 架構的先進理念，確保了高效的信息流和處理能力。

在 UniAD 中，TrackFormer 模塊通過 query 與 BEV 特征的交互，實現了對 周圍環境的精確感知。MapFormer 模塊則通過 Map query 更新，進一步豐富了 環境特征。MotionFormer 模塊利用 Motion query 與環境特征和 BEV 特征的交 互，預測了未來軌跡，為決策提供了重要信息。而在 TrackFormer 中，特定的 ego-vehicle query 用于表示自車屬性，為規劃任務提供了關鍵信息。規劃模塊將 MotionFormer 更新后的 ego-vehicle query 與 BEV 特征進行深度交互，實現了對 環境的全面感知和預測，從而優化規劃任務。

Wayve: GAIA-1 (2023)

在人工智能領域，GAIA 模型以其創新的生成式世界模擬技術，為自動駕駛 技術帶來了革命性的突破。GAIA-1，作為該系列的最新版本，通過整合視頻、文 本和動作輸入，顯著提升了生成逼真駕駛視頻的能力。它不僅能夠精確控制自動駕駛車輛的行為和場景特征，而且其多模態特性使得 GAIA-1 能夠根據各種提示 模態和組合生成多樣化的視頻內容。 GAIA 模型的問世，標志著人工智能在模擬物理世界方面的重大進步。它能 夠生成長達數分鐘的駕駛視頻，這些視頻細節豐富，嚴格遵循場景特征和車輛行 為的預設規則。這一技術突破極大地提升了自動駕駛技術的決策力和安全性，有 效解決了人工智能在預測和導航復雜現實世界交互時面臨的諸多挑戰。

Wayve: LINGO-2 (2024)

Wayve 公司最新推出的 LINGO-2 模型，為自動駕駛技術帶來了重大突破。 這項工作首次將視覺 - 語言 - 動作融合的大模型搭載上車，并開始商業化測試。 視覺 - 語言 - 動作大模型構建了自動駕駛 AGI 的新范式，顯著提升了 AI 駕駛系統 的可解釋性，使 AI 的決策過程更加透明，也將 AI 用于自動駕駛的能力提升到新 的水平。LINGO-2 模型不僅能夠執行駕駛任務，還能用自然語言與用戶進行溝通， 解釋其決策背后的原因。例如，當 AI 決定減速時，它會向用戶解釋是因為檢測到 前方有行人過馬路，從而增強用戶對自動駕駛系統的信任感。 此外，LINGO-2 模型還具備根據用戶的自然語言指令調整駕駛行為的能力。 用戶只需發出簡單的指令，如 " 靠邊停車 " 或 " 右轉 "，AI 就能理解并執行，同 時解釋其決策依據，展現出高度的互動性和智能性。LINGO-2 模型還支持視覺問 答功能，能夠回答用戶關于場景和駕駛行為的問題，展示其對周圍環境的深入理 解和安全導航的能力。例如，當用戶詢問為什么左轉時，AI 會用自然語言解釋 “ 左 轉可以更快到達目的地 ”。

Tesla: FSD v12.3（2023）

Tesla 宣稱從 FSD12.3 版本開始采用端到端自動駕駛方案。相比之前的非端 到端版本，其在復雜場景上體現出更強的泛化能力，與其他車輛和行人的交互 體現出更多的靈活性，駕駛風格也更加貼近人的習慣，其總體表現已經遠遠超 過 Rule-based 決策規劃模塊的技術方案。業內普遍認為這些表現的巨大提升很大 程度地建立在決策規劃模塊化基礎方案之上，但是目前尚無法具體判斷出 Tesla 的實現方案處于本報告定義的 “ 決策規劃模型化 ”“ 模塊化端到端 ” 或者 “One Model 端到端 ” 中的哪一個階段。 特斯拉自動駕駛總監 Ashok Elluswamy 在 CVPR 2023 上分享了團隊在 World Model 方向的研究進展。該研究很可能成為 FSD 下一階段 “One Model 端 到端 ” 自動駕駛方案的基礎，并且有潛力進一步發展成為自動駕駛以及人形機器 人通用的底層模型。