英偉達博客發聲：她不一樣，她懂顯卡 ( bushi )，她懂端到端！

她叫Alpamayo 2 Edge，因果推理結合擴散動作，端到端輸出閉環表現提升 48.9%。作者丨鄭佳美 編輯丨岑 峰 點開前，你以為老黃家的驚天大瓜又有了什麼後續； 點開後才發現：這個“她”連人都不是。她叫 Alpamayo 2 Edge。英偉達11月10日剛發佈出來的一款端到端自動駕駛模型。VLM 骨幹約 2.45B、動作專家約 0.2B，跑在車規級芯片 DRIVE AGX Thor 上。但“懂端到端”這四個字，還真不是標題黨蹭流量。在各路AI瘋狂“嘴替”、大模型瘋狂自言自語的時代，英偉達力挺的這姑娘（劃掉）這模型，是真·人間清醒。

Alpamayo 2 Edge希望讓汽車裡的 AI 不僅能看懂道路，還能理解複雜交通關係、分析潛在風險，並根據場景自主生成駕駛動作。簡單來說，就是讓 AI 從會看、會理解，進一步走向會開車。當然，讓 AI 在服務器裡推理和讓它在高速行駛的汽車裡推理，完全是兩回事。車載算力有限，響應時間也有嚴格要求，模型既要具備複雜場景下的推理能力，又不能把大量計算資源消耗在冗長的思考過程中。Alpamayo 2 Edge 圍繞這個問題做了一套新的設計：普通端到端模型輸入圖像直接輸出軌跡，中間發生了什麼是黑箱。

而 Alpamayo 2 Edge 被強制要求生成 Chain-of-Causation（因果鏈）推理：不光要開車，還要說出為什麼這麼開。所以汽車究竟需要怎樣“懂端到端”的 AI，才能既想得明白，又開得及時？這套新 VLA 給出了一個頗有意思的技術方案。01讓模型自主控制推理開銷Alpamayo 2 Edge 的一個核心設計，是讓模型學習何時需要展開完整推理。自迴歸語言模型下推理文本越長，生成耗時越高，而車載系統還需要為視覺編碼和軌跡生成預留計算資源。NVIDIA 為此引入了 Adaptive Reasoning，並設計特殊標記 。

當模型判斷當前屬於常規駕駛狀態時，可以直接輸出這個標記，結束顯式推理文本的生成；遇到複雜交通交互時，再生成完整的 Chain-of-Causation（CoC）推理鏈。這裡有一個重要的實現細節：並不意味著關閉視覺網絡，也不代表模型跳過後續動作計算。它改變的是語言模型的輸出方式，減少常規場景下的推理 Token。公開架構沒有披露獨立的外置風險分類器，模型需要通過訓練學會兩種輸出模式的選擇。那麼，模型如何知道什麼場景需要推理？這涉及 CoC 的數據構建。

NVIDIA 的自動標註流程會先從車輛軌跡中提取 Meta-Action，也就是自車的高層運動行為，再根據行為發生變化的時間點定位關鍵幀，隨後調用 VLM 生成場景因素與駕駛動作之間的因果解釋。標註還需要經過驗證，檢查解釋是否有畫面依據，以及描述的動作是否符合實際軌跡。這裡有一個重要的設計取捨：駕駛視頻中存在大量連續畫面，但並非每一幀都會產生新的駕駛決策。如果逐幀生成推理文本，訓練集容易積累大量重複描述。以 Meta-Action 變化為錨點，可以把監督集中在車輛行為發生變化的時刻，讓模型學習障礙物、交通參與者和道路條件如何影響自車動作。

NVIDIA 使用 Alpamayo 2 Super 生成 CoC 自動標註，再通過離線蒸餾訓練 Edge 模型。公開數據約包含 115,000 小時多攝像頭駕駛視頻，以及 370 萬條 CoC 推理標註。例如，前方車輛減速時，模型需要結合左側來車、道路邊界和自身速度判斷是否能夠繞行。CoC 要表達這些因素與減速、等待或轉向之間的聯繫，同時避免引用決策發生之後才出現的信息。這樣，模型學習的內容包含兩層：複雜場景下如何組織因果解釋，以及常規場景下何時可以省去顯式解釋。前者提供駕駛推理監督，後者控制文本生成成本。

不過，自動生成的 CoC 仍可能繼承教師模型的偏差，解釋與實際駕駛動作是否一致，還需要在後續訓練中檢驗。02從場景理解到連續軌跡完成場景分析後，模型還需要把判斷轉化為車輛能夠執行的運動軌跡。Alpamayo 2 Edge 將這項工作交給獨立的 Diffusion Action Expert（約 0.2B 參數），與 VLM 骨幹（約 2.45B 參數）形成雙模塊架構。這套架構的輸入設計也圍繞駕駛場景展開。模型每輪處理 6 路攝像頭、22 幀圖像。前向廣角和長焦各提供 5 幀，覆蓋過去 2 秒、1 秒、0.5 秒、0.

1 秒和當前時刻；左右側向與後向四路攝像頭各提供 3 幀，覆蓋過去 1 秒、0.1 秒和當前時刻。前向攝像頭保留更密集的歷史信息，用於識別道路變化和前方交通參與者的運動狀態；側後方畫面補充周邊車輛信息。此外，模型還接收 20 個歷史 Ego Pose，按照 0.1 秒間隔覆蓋過去 1.9 秒，並轉換到當前自車座標系。這裡的 Ego Pose 很關鍵。攝像頭提供外部環境的視覺信息，Ego Pose 描述車輛自身的位置和姿態變化。兩類信息經過統一的時間與座標處理後，模型才能結合自車運動歷史理解道路中其他參與者的相對運動。

在完成視覺與運動信息編碼後，VLM 負責提供場景語義、導航條件和 CoC 推理，動作專家則接收這些條件，生成連續控制量。動作專家輸出每個時間步的加速度和曲率，再通過 Unicycle Model 積分形成車輛軌跡。加速度描述縱向速度變化，曲率決定路徑彎曲程度。相比直接讓語言模型生成大量座標，這種控制量表達更貼近車輛運動學。模型最終輸出 64 個 Waypoints，覆蓋未來 6.4 秒，每 0.1 秒一個點，包含 XYZ 位置和 3×3 旋轉矩陣。這裡還區分了車輛後軸的實際行駛路徑與車身朝向：車輛發生側滑時，車身航向與路徑切線可能存在角度差異，因此兩類信息需要分別表達。

連續動作採用 Flow Matching 訓練，公開推理配置默認執行 10 步 Euler 積分。訓練時，VLM 接受未來軌跡 Token 和 CoT 文本監督，動作專家接受加速度與曲率的 Flow Matching 監督。其中一個關鍵實現是 Detach 梯度隔離。動作專家接收 VLM 輸出的條件特徵，但動作損失不會反向更新 VLM。這樣可以減少連續控制目標對語言視覺骨幹的梯度干擾，讓兩個模塊分別優化語義理解和運動生成。這也帶來一個需要處理的問題：如果 VLM 對場景的理解存在偏差，動作專家無法通過自己的訓練損失直接修正上游表徵。

因此，模型還需要一套獨立的評價機制，檢查推理文本是否有場景依據，以及生成的軌跡是否符合對應的駕駛意圖。03讓推理質量進入訓練反饋NVIDIA 為此引入 AlpaJudge，將 CoC 推理質量轉化為可評估的訓練信號。它提供 Reference-Based（RB）和 Reference-Free（RF）兩個版本。RB 接收問題、參考解釋和模型生成的候選解釋，判斷兩段文本的對齊程度，但不讀取圖像。因此，它適合已有專家標註的樣本，卻無法獨立判斷解釋是否符合實際畫面。RF 則不需要參考解釋，輸入包括前向廣角和長焦攝像頭畫面、自車 Meta-Action 歷史與未來，以及模型生成的 CoC。

它從五個維度評價推理質量：動作匹配、安全性、場景依據、要素完整性和因果一致性。RF 將動作匹配與安全性合併為動作評分，佔綜合評分的 60%；場景依據、要素完整性和因果一致性構成另外 40%。這種設計把駕駛行為與語言解釋放進同一套評價框架，避免只根據文本是否流暢來判斷推理質量。由於 RF 使用了未來 Meta-Action，它主要用於離線評估和訓練，不參與車輛實時決策。它的作用是檢查模型生成的解釋是否符合場景證據，以及解釋所表達的駕駛意圖是否與實際動作對應。AlpaJudge 還參與訓練數據篩選。

NVIDIA 的實驗顯示，經過評分篩選後，中間分數樣本在精選數據中的佔比從原始數據的 27% 提高到 81%。中間分數樣本通常保留更多學習空間，而低分樣本可能來自錯誤標註，也可能對應模型尚未掌握的困難場景，因此仍需人工複核。評分機制進一步進入後訓練。模型生成候選 CoC 和軌跡後，訓練流程結合推理質量、軌跡誤差與駕駛舒適度計算獎勵，並保留軌跡質量約束，避免模型只優化解釋文本。NVIDIA 在一組基於 Alpamayo 2 Super 的後訓練實驗中發現，使用 AlpaJudge 獎勵後，模型評分提升 10.2%，人工評價提升 11.4%；使用基線獎勵時，模型評分提升 13.

4%，人工評價卻只提升 1.8%。兩組結果說明，模型自身評分與人工判斷之間可能存在偏差，推理獎勵需要經過人工校準。不過，AlpaJudge 只能評價模型生成的解釋，無法完整衡量連續駕駛中的動作後果。為此，NVIDIA 又將模型接入 AlpaGym 和 AlpaSim，進行閉環強化學習。在仿真環境中，模型接收攝像頭畫面、自車狀態和路線信息，生成軌跡後由仿真車輛執行，環境再返回新的畫面和運動狀態，模型繼續作出下一輪決策。訓練過程因此能夠觀察當前動作如何影響後續場景，並根據連續駕駛結果更新策略。

NVIDIA 披露，Alpamayo 2 Edge 經過閉環強化學習後，駕駛表現較未使用該輪 RL 的較優檢查點提升 48.9%。在 AlpaSim 的 875 個場景中，每個場景執行三組 rollout，平均每發生一次責任事故或駛離道路事件前行駛約 15.15 公里。開放環評估則使用 1,392 條樣本，在 5 秒處測得 minADE₆ 為 0.52 米。這兩組數據衡量的內容不同：閉環結果反映模型在持續交互中的駕駛表現，開放環結果衡量固定輸入下的軌跡誤差。AlpaJudge 負責檢查解釋質量，AlpaGym 負責檢驗動作後果，兩者形成了不同層面的訓練反饋。

模型訓練完成後，還需要針對 DRIVE AGX Thor 進行推理優化。NVIDIA 提供的部署流程包含 FP8 量化校準、ONNX 導出和 TensorRT Engine 構建，並結合 TensorRT Edge-LLM 插件與 DFlash2 speculative decoding。DFlash2 使用輕量 Draft 模型並行提出候選 Token，再由目標模型驗證，減少自迴歸解碼的等待時間。結合 NOMINAL 對常規場景推理文本的壓縮，系統從文本生成長度和解碼執行兩個環節控制計算開銷。在 DRIVE AGX Thor-X、DRIVE OS 7.2.7.0、CUDA 13.

4 和 TensorRT 11.3.1.9 的參考配置下，NVIDIA 公佈的 Pixel-to-Trajectory 時延為 160–190 ms，具體取決於 CoC 文本長度。需要注意，這個數字描述的是模型從圖像輸入到軌跡輸出的推理耗時，不包含傳感器採集、定位、控制器執行和安全監控組成的整車響應週期。04“會說話”不難，“說得起”才難傳統端到端模型被詬病的核心不是開得不好，而是說不清為什麼這麼開。Alpamayo 2 Edge 的因果鏈推理直接回應了這一點：它輸出的不是“前方有車→剎車”，而是完整的因果解釋。

Alpamayo 2 Edge 展示的技術路線，已經把自動駕駛 VLA 的研發推進到了一個更具體的階段：模型需要根據道路狀況調整推理深度，同時將場景理解轉化為符合車輛運動學的連續動作。這套設計的邏輯很明顯：你說你懂因果，那就讓評分器來判斷。英偉達還特別提醒，推理分高不代表車開得好，必須和碰撞、偏離車道、軌跡誤差等指標一起報告。同時，這對模型提出了兩方面的要求，一方面要判斷當前交通環境中有哪些因素會影響駕駛決策，另一方面還要控制推理過程帶來的計算開銷，讓後續軌跡生成能夠及時完成。這裡存在一個很現實的工程矛盾。

如果模型對複雜場景的判斷不充分，可能過早進入 NOMINAL 模式，遺漏需要處理的交通因素；如果模型頻繁展開長 CoC，語言解碼又會佔用更多時間，影響整條推理鏈路的執行效率。因此，自適應推理的效果不能只看文本質量，還需要結合模式選擇、軌跡質量和實際響應時間進行評估。尤其在連續交通交互中，模型能否及時識別場景變化，並在必要時調整推理策略，會直接影響後續駕駛動作。回到開篇那個問題：我們需要的是 AI"真懂"，還是"表現得懂"到足以通過 AlpaJudge？

從目前公佈的結果看，NVIDIA 已經展示了模型架構、自動標註、強化學習和車載部署之間的完整技術路徑，但仿真環境中的表現仍需要經過不同道路條件、傳感器組合和車輛動力學環境的檢驗。對於自動駕駛而言，模型生成軌跡只是決策鏈路中的一個環節。Alpamayo 2 Edge 將推理過程也納入了計算資源分配和訓練優化，進一步拓展了 VLA 的工程設計空間。接下來，這套架構能否在真實車輛上穩定處理複雜交通交互，將決定其技術方案能夠走多遠。參考鏈接：https://developer.nvidia.

com/blog/running-av-reasoning-models-within-onboard-compute-and-latency-limits