世界模型熱潮裡，百度重新亮出無人駕駛底牌

10月17日，上海徐浦大橋上發生了一起令人揪心的事故，一輛平板貨車先撞上了一輛白色小客車，然後車子駛入對向車道，又接連撞了4輛車，事故造成了1死2傷。事故過後，網絡上湧現了很多對於事故全過程的還原和討論。如果白色小客車沒有違規變道，或者貨車早點剎車，結果會不會不同？現實世界中，人們從親歷的險情、看過的事故中記住一些教訓，提升駕駛和決策水平。而對於需要通過訓練規避風險的無人車來說，研究這些問題，需要改變條件、反覆比較，卻不能在真實道路上重複製造危險。隨著無人駕駛的發展，仿真測試早就在做這部分工作。如今，百度、Waymo等企業都在用世界模型擴展虛擬考場的邊界，為無人車創造“重生”機會。

也就是從已有場景出發，改變路況或駕駛動作，推演不同的後續，讓系統在不同條件下反覆接受檢驗。難的是，給無人車一次“重來”的機會，不能只是重置自車動作，還要讓周圍的車、人、物給出合理回應。怎樣的世界模型，才撐得起這樣的訓練？01世界模型的“重生”，怎樣才有用？AI科學家、World Labs聯合創始人李飛飛，曾把汽車比作帶輪子的機器人，認為無人駕駛汽車近似在二維的環境裡移動的“方盒子”，車要儘量不碰到東西，家務機器人卻得主動伸手，才能洗碗、做飯、疊衣服。從操作任務來看，她認為汽車相對簡單，“無人駕駛汽車其實還是挺簡單的機器人”。

但百度智能駕駛事業群組首席研發架構師王亮博士說：“無人駕駛從來不是具身智能的‘EASY模式’。”比如談到L2和L4的區別時，王亮博士拿紀錄片《徒手攀巖》舉例，輔助駕駛更像有保護的攀巖，容易做出吸引眼球的帥氣動作，而L4就像無保護攀巖，中間的巨大鴻溝很難跨越。無人車駛入開放道路，要不斷應對其他車輛和行人難以預判的行動，對安全、實時響應和處理交通衝突的要求也隨之提高。在他看來，難點不只在於感知三維空間，更在於駕駛位上沒有人能隨時接手，系統幾乎沒有犯錯的餘地。真實場景中，車輛併線時，即使旁邊有空位，也得看後車讓不讓。往前探還是先收一腳油，也會影響對方的選擇，因為路上不止一輛車在做決定。

研發人員要攻克的問題，就是怎麼把這種在真實道路上時刻發生著的你來我往，搬進虛擬世界。李飛飛將世界模型的功能分為渲染器、模擬器和規劃器。開車時，渲染器讓車看見路況，模擬器能讓你知道往左或往右打方向會發生什麼，規劃器則幫你決定，為了到達目的地或規避危險該不該打這把方向。王亮博士認同李飛飛對世界模型的劃分，並進一步提出，無人駕駛需要這三項功能配合，其中模擬器是否能合理推演後果尤為重要。駕駛系統做出動作之後，模擬環境隨之變化，把新的路況反饋給系統，讓它據此再做下一步決定。比如，如果無人車提前踩了剎車，虛擬道路上的後車也要跟著減速。如果測試只是把實車記錄的路況重放一遍，後車仍會沿原來的軌跡行駛。

這樣一來，哪怕無人車在仿真裡避開了前車的碰撞，也很難判斷這腳剎車在真實道路上是否安全。目前，世界模型的概念越來越流行，但不是每個世界模型都能做出一個可信的、符合物理世界交互規律的試煉場。比如李飛飛團隊的Marble，主要側重生成和編輯三維空間。當世界模型被用作具身模擬器，核心在於它能否忠實還原物理規律和行動的因果關係，讓智能體在虛擬環境裡完成原本要在現實中完成的完整任務。畫面有多逼真、生成的場景有多奇特，都不能代替對行動後果的檢驗。基於這樣的定位，百度針對世界模型提出了“2+3”判斷標準。

2，是指給物理AI世界模型設定的基礎門檻：一是因果性，即模型必須像真實物理世界⼀樣，由已知的過去推導下⼀秒；二是交互性，說的是運行中改變動作，環境能隨之更新。3，是判斷世界模型好不好用的標準，包括物理準確性、持久性和實時性。物理準確性是指模擬的狀態有多可靠，是否符合世界規律，學習獲得的能力回到物理世界還能不能用；持久性指的是持續運行的時間和穩定性能不能跟上，長時間運行物體和細節是否發生漂移；實時性是說低時延，生成世界複雜度的增長不影響模型推理時間，獲得高模擬測試效率。總之，如果所謂的世界模型，只能復刻現實道路參與者和物理規律中的一小部分，測試結果是否真實可靠，就需要打個問號了。

02一座可信的駕駛考場，如何搭建？百度提出“2+3”的世界模型定義和評價標準，讓環境真正回應駕駛系統，但怎樣才能在虛擬世界搭建堪比真實世界的考場？來看一段百度最近展示的兩段畫面：左邊，無人車駛上高架，給支路來車留出了空間，對方順勢駛入主路。右邊，無人車改走高架旁的輔路，兩車交會的空間變小，支路上的車便停下來等。兩段畫面從同一個地點開始，無人車走了不同的路，支路上的車也作出了不同的選擇。下一組畫面裡，更換的變量是天氣。同一條路、同樣的初速和制動指令，晴天車停得更早，雨天則多滑了一段。雨水改變了路面反光、能見度和激光雷達回波，也改變了這一腳剎車的結果。再把鏡頭拉長到一整段行程。

百度在虛擬環境裡，把香港機場附近的萬豪酒店設為共同起點，給測試車安排了不同的目的地。即便起點和終點都不變，把車流從低密度調到高密度，車輛也要應付更多交互，行程隨之變慢。這三組演示都來自近期百度披露的世界模型ApolloWorld。百度世界模型負責人楊澤介紹，百度把虛擬道路上的交通參與者建模為有各自目標、能感知周圍變化的AI智能體，會根據周圍的變化決定是走是停，它們的動作也會影響無人車接下來怎麼開。但有了會作出反應的車輛，還得讓駕駛系統看得見並看得懂這些變化。ApolloWorld會根據同一時刻的路況生成相機畫面和激光雷達點雲。比如下圖畫面中的貨車，在點雲中也出現在對應位置。

不同的相機視角、相機和激光雷達之間都會交換信息。多模態聯合生成的目的，就是讓不同的觀測共同描述眼前的同一個世界。至於如何生成這些觀測畫面，ApolloWorld會把上述狀態作為條件交給生成模型，然後通過文本等條件控制天氣、光照，再用數字孿生提供場景的幾何結構和外觀信息，保證生成的畫面有明確的約束，而非憑空想象。世界模型生成觀測畫面後，駕駛模型據此踩油門、剎車或打方向，主車和其他交通參與者的響應動作放在一起，就形成了世界的下一個狀態。把這個新的狀態送回模型，繼續推演變化，交通場景就會持續地發展下去。兩套模型在雲端配合完成測試，經過迭代的駕駛模型再部署到車上，相當於AI在教AI開車。

今年2月份，Waymo也公佈過可響應駕駛動作、生成相機與激光雷達觀測的世界模型，和百度的思路不同的是，Waymo主要展示了怎樣改變道路條件，生成洪水、龍捲風等罕見場景，沒有展示完整的長段行程。百度的重點則是周圍的其他交通參與者怎樣回應自車，以及系統怎樣按設定的目的地從頭到尾跑完一整段行程。相比之下，百度的ApolloWorld更貼近Robotaxi的實際運營流程，驗證覆蓋了從接單、接客到送達的完整任務。目前ApolloWorld百度展示的案例中，車輛都能順利避讓，給出的是成功的結果。不過，在研發人員眼裡，沒避開的情況也有其價值，虛擬考場的用處，正在於把這些容易被漏掉的條件找出來，一遍遍試錯。

值得一提的是，雖然考場可以反覆出題，但哪些題值得一考，仍要到真實道路上找答案。尤其當無人車駛向一座新城市，路況和開發都可能不同。百度過去跑過的那些路，能為下一座城市的測試提供什麼？03當車隊開向更多城市，測試資源怎樣跟上？不同城市的道路佈局、車流和當地人的開法也都可能不同。但駕駛系統的安全邊界需要將各類情況囊括其中，這就意味著不斷增加的驗證需求。然而，測試車輛和安全員是有限的，驗證需求卻會隨著業務擴張不斷增加。百度利用ApolloWorld，將一些原本要佔用實車、人手和道路時間的測試搬到雲端並行跑。按百度測算，它一天行駛的虛擬里程，約相當於一輛配備安全員的實車連續測試三年的里程。

虛擬里程能跑多快取決於算力，但跑哪些場景則要看車在真實道路上遇到過或可能會遇到什麼情況。百度在上千輛蘿蔔快跑上積累的道路經驗，怎樣進入世界模型呢？據百度披露，蘿蔔快跑累計自動駕駛里程已超過3.5億公里，其中全無人駕駛超過2.4億公里。團隊從運營中找出值得復現的問題，再結合地圖和駕駛數據構建場景。通過改變車流密度、參與者激進程度和駕駛動作，同一個場景可以衍生出不同的測試條件。王亮博士介紹，百度和特斯拉是全球僅有的兩家將端到端技術用於規模化L4無人駕駛的企業，其中百度的端到端模型全無人運營里程超過了百萬公里。但端到端上車之後，真正的考驗才剛剛開始。

無人駕駛要走向規模化，必須同時兼顧安全、智能與規模，而這三者之間存在著一個 “不可能三角”。ApolloWorld的存在，把一部分原本非常依賴實車的訓練和驗證過程搬到雲端，對百度來說意味著多了一種更高效率的安全驗證方法。進入新城市前，團隊結合當地地圖和採集數據構建場景，在雲端並行測試，再把需要確認的問題交給實車驗證。這樣一來，驗證範圍擴大的同時，對測試車和安全員的需求卻不必再按同樣的比例增加，百度的無人駕駛業務也就能快速開拓新城市、進行全球化佈局。由此可見，百度的世界模型，正在定義新的仿真標準，並助推無人駕駛抵達屬於它的AGI時刻。

無論是路上可能突然出現的錐桶、行人，還是最開始提到的發生在徐浦大橋的重大事故，研發人員都很難等到它在同一個地方再出現一次。但在ApolloWorld打造的虛擬世界裡，無人車多了一次次“重生”的機會，哪怕只是做出細微的改變，可能都會影響眾多道路參與者的終局。無數的虛擬世界經驗最終向現實流動，現實之中人與車的安全性、通行效率也會由此改變。往後，衡量一家無人駕駛公司的擴張能力，不止要看車隊規模、里程數等等，還要看它能用多快的速度把一輛車遇到的偶然難題，變成整個龐大的車隊都能學到的經驗。