芝能科技出品

2025年，由于安全和強監(jiān)管的作用，輔助駕駛行業(yè)正處于黎明前的黑暗。

面對復雜的現(xiàn)實路況、多樣的人類行為模式，以及傳統(tǒng)AI在泛化和理解能力上的瓶頸，理想汽車在《AI Talk第二季》系統(tǒng)性的闡述了“VLA（視覺語言行動模型）”。

從邏輯上來看，VLA不是單一的模型升級，從模仿昆蟲般的規(guī)則算法，到具備哺乳動物智能的端到端系統(tǒng)，再到真正具有人類駕駛認知和執(zhí)行能力的“司機大模型”。

我們從技術演化的三階段入手，深入解析VLA的架構組成、訓練流程和關鍵突破，探討它如何打破智能駕駛發(fā)展的困局，成為邁向L4+自動駕駛的關鍵支點。

01

從螞蟻到人類：

VLA技術演化的三階段

階段一：規(guī)則驅動與“昆蟲智能”

回溯智能駕駛的早期階段，我們依賴于機器學習下的感知模塊，配合高精地圖、規(guī)則算法執(zhí)行。系統(tǒng)的每一個子模塊（感知、規(guī)劃、控制）都需精密耦合，更多依賴人工設定的規(guī)則。

這一階段，智能駕駛系統(tǒng)更像是一只被設定程序路徑的“螞蟻”：只能在特定場景中“爬行”，缺乏對環(huán)境的真正理解和泛化能力。

◎ 感知模型參數(shù)規(guī)模�。簝H幾百萬參數(shù)，處理能力嚴重受限。

◎ 對地圖強依賴：高精地圖一旦失效，系統(tǒng)極易出現(xiàn)功能崩潰。

◎ 缺乏上下文理解能力：面對突發(fā)場景（如施工繞行、人為交通指揮等）無所適從。

這正如馬戲團里受訓的昆蟲，僅能在被設定軌道內(nèi)完成任務，缺乏主動決策與認知能力。

階段二：端到端與“哺乳動物智能”

2023年起，理想汽車啟動端到端（E2E）輔助駕駛研究，并在2024年開始實車部署。端到端模型將感知與控制流程一體化，通過大規(guī)模數(shù)據(jù)驅動“模仿學習”。

該階段的模型能通過模仿人類駕駛行為完成任務，具備初步泛化能力。

◎ 學習對象為人類駕駛行為：模型能夠“看圖開車”，感知場景并輸出駕駛指令。

◎ 缺乏因果推理能力：模型雖能模仿，但無法理解行為背后的因果關系。

◎ VLM（視覺語言模型）的初步引入：引導模型理解交通信號語義和少量文字信息，但由于開源VLM多為低分辨率，泛化能力不足。

端到端系統(tǒng)像是能騎車的猩猩：雖然能完成任務，但并不真正理解交通世界的規(guī)律與邏輯。這種“經(jīng)驗驅動”的模型仍存在理解維度淺、推理能力弱、泛化能力有限等瓶頸。

階段三：VLA（司機大模型）與“人類智能”

進入VLA時代，智能駕駛系統(tǒng)不再是規(guī)則控制器，也不僅僅是模仿者，而是擁有“類人思維”的駕駛主體。

VLA系統(tǒng)具備真正意義上的三重能力融合：

◎ Vision：3D視覺 + 高清2D圖像；

◎ Language：交通語言理解 + 內(nèi)部CoT推理鏈；

◎ Action：駕駛行為的計劃、決策與執(zhí)行。

VLA不同于傳統(tǒng)VLM或E2E模型，它不僅能“看懂世界”，還能“理解”并“行動”，其智能程度首次接近人類駕駛員。

02

技術架構解析：

如何構建一個“司機大模型”？

預訓練階段的目標是打造一個視覺與語言緊密融合的VL（Vision + Language）多模態(tài)大模型，作為VLA的訓練起點。

當前版本的模型規(guī)模達到32B（320億參數(shù)）級別，并部署于云端訓練平臺。

此模型整合了豐富的視覺語料，包括3D空間感知和高清2D圖像，其圖像分辨率相比現(xiàn)有開源VLM提升了10倍，覆蓋了遠距識別、交通標志以及動態(tài)場景等復雜要素。

同時，語言語料涵蓋了駕駛指令、路況語義及行為規(guī)則，包含導航信息、人類指令和駕駛習慣用語。

聯(lián)合語料方面，通過將視覺語境與語言語義共同嵌入，如導航地圖結合駕駛行為的理解，三維圖像與指令邏輯結合，旨在構建一個具備物理世界理解能力的“多模態(tài)世界模型”。

完成預訓練后，32B模型被蒸餾為3.2B端側模型，以適配Orin-X或Thor-U硬件平臺，采用MoE（混合專家模型）架構實現(xiàn)效率與精度的平衡，確保模型能在實時40Hz幀率以上運行，滿足車規(guī)級部署要求。

進入后訓練階段，重點轉向從理解到行動的模仿學習。

如果說預訓練賦予了模型“看與聽”的能力，那么這一階段則是讓模型學會“動手”。

通過大規(guī)模人車共駕數(shù)據(jù)的學習，模型能夠模仿人類駕駛行為，學習軌跡、加速、剎車等操作。此外，生成式行為學習不僅限于回歸預測，還能夠進行軌跡生成與優(yōu)化。

任務集成模型（TAM）結構則將視覺語言理解與動作生成深度融合，提高任務執(zhí)行效率。

最終形成一個具備完整駕駛循環(huán)的VLA結構：從環(huán)境感知、意圖理解到駕駛行為執(zhí)行，構成閉環(huán)控制系統(tǒng)。

模型擴展至4B參數(shù)，保留CoT（思維鏈）機制但限制在2～3步內(nèi)，以兼顧推理能力和系統(tǒng)延遲。

強化訓練階段強調(diào)的是從駕校到真實道路的過渡，注重人類偏好與安全邊界控制。

不同于傳統(tǒng)的RL方法，VLA的強化訓練體系引入了RLHF（人類反饋強化學習），通過人類介入標注數(shù)據(jù)形成“人接管—AI迭代”循環(huán)，融入用戶偏好、道路安全行為習慣等軟性目標。

Diffusion預測模塊能夠在執(zhí)行動作前預測未來4~8秒內(nèi)的環(huán)境與軌跡變化，提供因果推理能力，為決策提供時域支持。

這一過程如同駕駛員從實習到正式上崗的過程，使VLA不僅能開車，而且能安全、穩(wěn)健地應對真實世界中的突發(fā)情況。

視覺語言行動模型（VLA）體系中，最具突破性、也最貼近用戶實際駕駛需求的部分，就是“司機Agent”的構建。

所謂“司機Agent”是一個具備類人駕駛智能的“數(shù)字駕駛員”——它不僅能夠看清楚、聽明白，更關鍵的是，它能理解路況、語言指令以及駕駛意圖，并做出合理的行動決策。這是VLA三個階段演進的核心成果。

傳統(tǒng)的感知+規(guī)則算法，像昆蟲一樣只能被動反應、遵循簡單指令。而端到端模型雖更聰明，像是訓練有素的動物，可以模仿人類行為，卻缺乏真正的世界理解。

而VLA中的司機Agent則進一步融合了3D視覺理解、語言推理（CoT），以及實時行動策略學習能力，可以將一段自然語言“你在前方出口處靠右行駛”翻譯為精準的軌跡控制，甚至在突發(fā)場景下進行動態(tài)調(diào)整。這意味著它不僅能看清紅綠燈，還能“理解”紅綠燈的語義和策略影響。

司機Agent依托于三個關鍵訓練步驟構建而成：

◎ 首先基于云端32B模型進行視覺語言聯(lián)合建模，以理解3D現(xiàn)實世界與高分辨率2D圖像并建立交通語境下的“語言-視覺”嵌套結構；

◎ 其次在端側3.2B蒸餾模型上通過模仿學習實現(xiàn)行動建模，從人類駕駛數(shù)據(jù)中學會對視覺語義做出反應；

◎ 最后通過強化學習（尤其是RLHF）引入人類反饋，使系統(tǒng)不僅能學習“如何做”，更能學會“如何避免錯誤”，從而優(yōu)化安全邊際與駕駛習慣，完成從模擬到實戰(zhàn)的過渡。

VLA的司機Agent并非只是一套規(guī)則的疊加，而是一個擁有短鏈推理能力（CoT）和多模態(tài)協(xié)同決策能力的泛化智能體。

在保持執(zhí)行實時性的同時，它可以做出“如果我現(xiàn)在加速，5秒后前車可能會減速”的因果推演，并結合其訓練過的行為偏好，選擇更符合人類駕駛風格的方式進行操作。

這個“司機Agent”是VLA真正走向量產(chǎn)落地的核心標志：它不僅是模型的集合體，更是駕駛行為的數(shù)字化拷貝。

這一Agent的成熟將直接決定輔助駕駛是否能從“功能堆疊”邁向“駕駛替代”，真正成為每一位用戶可信賴的“副駕”。

小結

 VLA的意義不僅是技術，

而是產(chǎn)業(yè)的破局鑰匙

VLA的出現(xiàn)，不只是技術體系的進化，更是輔助駕駛行業(yè)從困境走向突破的關鍵。今天的輔助駕駛爭議重重：技術無法閉環(huán)、泛化能力弱、安全問題頻出。

但正因如此，VLA應運而生。不僅具備了“類人認知”，還以工程化路徑落地，在算力可控范圍內(nèi)實現(xiàn)高度擬人化駕駛體驗。它將視覺、語言、行動三者融合，從理解世界到改變世界，邁出了自動駕駛真正“可商用、可規(guī)�；�”的第一步。

VLA并非終點，而是一個開端。正如黎明前的黑暗終將過去，VLA標志著輔助駕駛正從工程試驗品，邁向未來社會的基礎設施。

       原文標題 : 邁向人類級駕駛智能：VLA視覺語言行動模型