對話郎鹹朋:用機器人創業重做一次“百萬智駕量產”

一,郎鹹朋卻把這八年稱作自己“探索具身智能的起點”。他和來自華為的任庚聯手創辦了崑崙行。這傢俱身新勢力在成立後的三個月內,就拿下數十億人民幣融資、躋身獨角獸俱樂部。但相比融資,他在這次訪談裡反覆強調的,是另外兩件事。第一,具身智能真正要解決的是“理解”。崑崙行因此選擇物理因果世界模型和“數據編譯”路線,希望機器人學到的是背後的物理規律。第二,具身最終拼的是量產和自我造血。在郎鹹朋看來,今天的具身智能很像2015、2016年的自動駕駛:路線未定、Demo滿天飛,真正的洗牌要等到規模交付開始。只靠融資,大家都做不到具身智能實現那一天。
本次訪談,我們和郎鹹朋詳細聊了聊他從百度、理想到崑崙行的三段經歷,“理解而非模仿”背後的數據編譯與物理因果世界模型,關於具身智能的四種智能與量產節奏,以及這場“百機大戰”會在什麼時候、因為什麼而洗牌。完整版可以訂閱我們的視頻播客,你可以在視頻號、Bilibili、抖音、小紅書、小宇宙、喜馬拉雅等全平臺收看。以下為完整對話實錄。AI落地關鍵是數據 :創辦崑崙行之前,是哪些關鍵的經歷塑造了您,把您帶到了今天的地方?郎鹹朋:我覺得比較關鍵的有三段經歷。第一段經歷是我讀博期間的經歷。
我讀博所在的實驗室是機器人國家重點實驗室,後來我又跟著老師轉到了其他的研究室,現在我兜兜轉轉又回來做機器人,我覺得這是冥冥之中的,我感覺有一種宿命在這裡面。讀博期間,我覺得是培養了我對學術和研究科研方面的一些基礎能力,這對我後邊所有的科研工作都打下了一個非常好的基礎。第二個經歷我覺得是在百度。在百度的話我的第一份工作是做街景,就是把街景裡邊的人臉和車牌兒,這種屬於個人隱私的這種信息都需要提取出來,然後模糊掉。在做這個工作的時候,我們當時用了傳統的machine learning,傳統的CV的方法,其實表現都不太好。
後來我們用了深度學習,因為百度是最早研究和使用深度學習的公司,當時給我了很大的衝擊。確實是用了深度學習之後,檢測識別的準召率(準確率和召回率)都上來了,提升了15個點左右,從原來70%多準召提到了85%。但是很遺憾,模型本身跟最終的工程落地還是有區別的。因為你85%的準召就意味著你每標100個框,有15個是漏的,你還要人為去修正這30個框,而且要從100個裡邊去找,還不如我從頭自己標一遍,可能效率更高一些。所以說從技術的先進性到實際的工程落地,還有很大的gap要做,這是我兩個非常大的體感。第三個,在百度我最大的收穫就是,數據對人工智能的應用有決定性的價值。
因為剛才也提到了85%的準召還是不能用,然後我們回來自己做了一些研究,發現在模型不動的基礎上,我們能動的就只能是數據了。把數據整個的規模double了一下,又精標了裡邊的一些錯誤,用了當時一個開源框架的模型,配上我們精標的數據之後,它竟然達到了驚人的90%的準召。我們也是很震驚。哦,原來AI落地的關鍵,雖然模型很重要,但更關鍵的是數據本身。第三個我覺得最重要的經歷是理想。我們用8年時間真是從0到1,然後到100的,把自動駕駛從Demo的技術,然後慢慢落地成量產的產品,最終是150萬輛車的大規模落地。△圖源自理想汽車官網 我覺得是這對我來說,是非常重要的技術拓展。
這裡我覺得最核心的還是,如何去打造真正的用於服務於自動駕駛的數據閉環,並且親手把它從有圖到輕圖到無圖,到端到端再到VLA,進行這樣一個範式的逐步迭代。:你覺得理想這段經歷對你最大的收穫是什麼?郎鹹朋:從技術上來說的話,是一個完整的量產的數據閉環。大家提到數據閉環,以為這裡邊只有數據本身,其實並不是,它涵蓋了從數據本身的採集,自動化管線的流程,也包括了訓練的管線、評測方式的迭代,這是一個完整的量產落地工程。第二的話我覺得是範式的迭代,我覺得這是非常關鍵的一點。就是剛才也提到是從有圖到輕圖到無圖,再到後邊的端到端加VLM,再到VLA。
這些範式的切換我也是親身經歷過的,我知道範式切換,它對組織和資源所帶來的成本和代價是什麼。其實最關鍵的還是,你一上來你的方向和認知是否是對的。雖然說這裡邊有些具體切換的過程,但是你一上來,如果說你沒有想清楚數據驅動的方向的話,那你只能被動地跟著這個行業,跟著別人去走。那你每次範式切換就意味著你前面所做的所有的工作,基本上都要清零,我覺得這個代價是很大的。我覺得不管是現在的創業也好,還是過去做自動駕駛也好,我認為最主要的還是第一,你的方向和認知要想得非常清楚。第二,在走的過程當中,你可以小步地迭代去做。還有就是在組織管理上的一些成長。
當然理想汽車和李想本人都給我很大的幫助,我也非常感謝,理想給我這樣一個平臺,能讓我用8年時間能把我對自動駕駛的認知,逐步地去落地到實際的工程量產上去,也非常感謝這段經歷。離開理想,具身是新起點 :離開理想的核心的出發點和原因是什麼?如果沒有具身智能的機遇,還會做出這個決定嗎?郎鹹朋:離開理想我覺得最大還是源於我自身對創業的渴望,以及對技術的追求吧,我覺得這兩點是最本質的。第一,我從百度到理想來做自動駕駛,我並不是走了一條非常穩妥的路線,在當時看來。在外人看起來是穩妥的選擇,但是在我看來是唯一的選擇。
因為我當時的認知就是——我要做以數據驅動為基礎的自動駕駛,我認可的是Tesla的路線,而不是高精地圖加規則算法的路線。所以,我必須要找到有車有數據的地方,並且公司的CEO或者負責人,他的認知是跟我高度一致對齊的,這樣我才能做好這件事情,所以我當時從百度來了理想。當然還有一個原因就是我對自己職業發展的驅動力,是我希望我的技術做到最好,也希望這個技術能被更多人看到。如果說我只是單純focus在技術本身的話,我可以留在高校研究所去做研究,也可以留在百度繼續去做技術上的一些預研,我覺得這都沒有問題。但對於我個人來說,我更希望我做的先進技術會被更多人使用,被更多人看到。
所以有這麼一個出發點,我從百度來了理想去做自動駕駛。在做自動駕駛的過程當中,我們做到VLA之後,實際上它是一個更加通用的具身智能的框架,自然而然我們也會從自動駕駛去切換到具身智能來看這個問題。做完VLA之後,感覺自動駕駛可能觸達到了一定的天花板。但是在整個具身智能來看,這才是剛剛開始,而且VLA也不是最終局的解決方案,我們還要去探尋更多的技術解決方案的可能性,這為我打開了新的視野。在這兩方面的加持下,我內心的原動力,以及技術的拓展性的前提下,我選擇出來創業也是非常順理成章的事情。:有沒有什麼時刻,讓你覺得自動駕駛已經不是終點?郎鹹朋:我覺得從技術上說,其實還是做到VLA之後。
你看VLA的框架,如果拆開看,VLA(視覺-語言-動作模型)它天生不是為自動駕駛服務的,它是為具身服務的。△圖片由AI生成 但是,落在車上或落在自動駕駛上是它的第一個應用,但它其實可以做更多的事情。其實我做到這一步的時候,我就會發現具身是一個更開拓、更開放的場景。而且對於自動駕駛來說的話,它的場景和任務還是相對窄的。不管你是在北京開車,還是在紐約開車,從宏觀上講,還是在同一個駕駛任務和條件下來做這件事情。具身智能不是,我們將來可能走進千家萬戶、千行百業,每一個場景都是獨立的、獨特的,所以說它的上限會更高一些。在做到VLA之後,我認為這個上限就被打開了。
自動駕駛,它不是終點,它只是一個起點,是我們探索具身智能的起點。:你和任庚是如何攜手的?之前看沒有公開的交集。郎鹹朋:我們是經人介紹認識的,之前確實沒有任何的合作和交集。其實選擇合夥人我們看的就是三個方面——行不行?合不合?久不久?行不行,就是看你的能力行不行,這個很容易驗證,就是從你過往的工作的成果和成績上就能看出來。我認為我跟任總,我們倆過往的工作能力都是在自己的做的產品和工作上都有非常好的呈現,而且我們能力還有一定的互補性。△崑崙行創始人兼CEO任庚 我是在技術和研發上,他是在商業和管理上,我覺得我們倆非常契合。
第二個合不合的話,我們其實也對整個的具身智能不管是產品、技術,還是商業的發展,我們都做了很多的交流,我們會發現——我們對很多問題都是非常驚人的一致。雖然說之前沒有討論過,但畢竟我們之前都有這種0到1的經歷,所以說我們在認知上是高度對齊的。久不久就是我們認知只要對齊了,而且我們對整個具身行業的判斷,我們都認為它不是一個短期的事情,它是一個甚至三年、五年,甚至十年的長週期的事情,所以說我們的合作也是相當長久的基礎。行不行、合不合、久不久,我們認為這三條我們都是沒有問題的。而且這裡面還有一個非常關鍵的問題,就是選合夥人合適比熟悉更重要,因為你選的是要把事情做成的人,而不是選一個你相處比較舒服的人。
當然最好是都有,但是我覺得前者是更重要的,對於創業來說。:跟相親結婚有點類似,但可能標準就在於說合適比熟悉更重要。郎鹹朋:對對對。:決定合夥創業,有沒有什麼決定性的時刻?郎鹹朋:其實我們沒有太多的磨合,因為我們在過往能力的背景上,在認知上我們都非常契合。所以說我們交流的時間也不是特別長,我們很快就達成了一致,然後就一起來做崑崙行了。:這名字也很有意思,為什麼取這個名字?郎鹹朋:這個名字還是有一定來歷的,我可以好好講講。當時我們其實也起了很多很fancy的名字,就是很科幻呀,但後來我們還是選擇了崑崙行。因為我們覺得我們做這個行業,我們不只是為自己做的,也是站在整個國家的行業背景上來做。
所以說自然而然就想到“崑崙”,因為崑崙是中華民族的一個圖騰標誌嘛,崑崙一說出來,大家就知道肯定是個中國公司,肯定代表中國。那麼“行”,就是表示我們使命必達,我們一定要把它做成,一定會行。所以崑崙行加起來就是中華民族在具身智能上一定行,一定能做到世界之巔。△圖片由AI生成 :為什麼會有這麼強烈的民族情感?郎鹹朋:因為我們是站在整個國家的趨勢和導向上去做這件事情,我們希望在探索物理AGI的歷史上,一定會留下我們所有同事每個人的名字,我們希望做到這一點。出發比想清楚更關鍵 :在註冊公司之前,想清楚了哪些問題?郎鹹朋:這是非常重要的一個話題。我覺得有些是一定要想清楚的,有些是可以邊做邊迭代的。
在方向性的一些問題上,一定要想清楚,一定要達成共識。我們想清楚了三件事。第一件事就是我們的範式,對於具身智能來說,它的第一性原理就是你的範式要選對。那麼第二的話就是你的方法,即你的範式怎麼落成具體可以操作的方法。第三是你的商業路徑是什麼?我覺得在這三個問題上我們達成了共識。那麼首先說說範式。我們認為做具身不能沿用自動駕駛的範式,因為自動駕駛不管是VLA也好,還是端到端也好,本質上還是模仿學習。當然現在看到很多機器人的動作也是通過模仿人類的行為來做的,但這並不本質。你在一個場景可以模仿,有上萬個場景,你怎麼去模仿呢?我們做機器人的範式是理解,而不是模仿,這是最重要的一個區別。
然後第二步,怎麼來做?從方法上,我認為數據還是最重要的。如果你收集了一大堆模仿學習的數據,那你只能做出模仿學習的成果來。我們在數據上有一個公式,數據效率等於你的獲取效率乘以你的使用效率。過往自動駕駛和GPT等等這樣數字AGI的成功,是成在了數據的獲取效率上。互聯網的數據,或者人類開車的數據,這些基本上可以零成本地獲取。但是在具身上不行,你不可能說我先把機器人請到你家裡去,你先手動操作兩年,然後你再去做,這不現實。那麼在機器人上,如果你的獲取效率沒有之前的便利性的話,那麼自然而然我覺得應該在使用效率上下功夫。在使用效率上,我們現在要做的就是數據編譯的工作。
這個可能跟別人是不太一樣的地方,而且編譯後的數據,它是富含物理因果的一些要素和屬性的,這樣便於我們去訓練我們自己的物理因果的世界模型,而不是一個純相關性的模仿學習的模型。第二個就是在實際的工程落地上,我們要交付我們的產品,光有模型是不行的,一定要有很強的工程化落地的支撐。這個支撐裡面我們有兩個方面,第一個方面是我們的訓練和數據的管線的工程化,就是可以類比之前的數據閉環,但只不過我們現在是數據編譯的一個管線。第二個是我們量產的部署,部署到機器人上,我們的工程化的落地是使用了Agent的工程框架,而不是之前的軟件硬件拼湊的工程框架。
這裡面可以類比一下Anthropic,大家覺得Claude code好用,它的模型固然強,但是它的這套Agent的機制也是支撐它最終變得好用的非常重要的一個部分。這也是我們團隊的一個優勢。因為我們不管是從理想來的,還是從華為來的,我們都是完整地做過很多0到1、1到100的工程項目的。基於我們過去的經驗,我們認為模型和工程都很重要,在最終的產品落地上。還有第三點是商業路徑上,我們也考慮得很清楚。上來需要先從toB開始做,然後再做到toC進家庭,家庭是我們的終點,而不是我們的起點。因為家庭太複雜了,每個家庭的場景和內容都是千變萬化的。
還有一個問題,你進家庭之後,對你的安全性、可靠性、穩定性是有非常高的要求的。因為家庭有老人和小孩,如果說你的技術還不成熟就進家庭的話,不單是對這個家庭可能會造成一些危險,對整個行業也會帶來很大的影響。△圖片由AI生成 這是我們在出發之前,在範式、方法和路徑上做的一些思考,我們覺得這個想清楚了,我們就開始做。在裡邊還有一些細節,比方具體的方案上,模型怎麼設計,數據管線怎麼搭建,我覺得這些可以邊做邊做邊迭代。我認為創業最大的一個感受就是出發永遠比想清楚更關鍵。方向想清楚就可以了,具體的就出發之後,咱們邊做邊迭代吧。
:現在比較稀缺的就是談論toC場景的安全,或者說很長尾的問題,真正做過大規模量產的人才會去談論和思考這些問題。郎鹹朋:是,做自動駕駛的時候,安全性非常關鍵。:創業過程中遇到的技術難題多?還是組織搭建的難題多?郎鹹朋:這兩方面都有一些具體的問題需要解決。剛才我也提了很多技術上的想法,在組織上,我覺得我們要充分發揮兩種組織的優勢。像華為這種組織體系,它有比較完善的流程,我們的全棧自研,在硬件體系上可以參考華為這種模式來處理。之前你也知道我是在軟件和模型方面做過的事情比較多,但在這段時間,我也充分地去摸了摸、看了看整個硬件的體系。
我認為硬件體系是非常複雜的,大家可能覺得是不是我把機器人攢出來就叫量產了?其實不是。真正的量產交付是要先經過研發和試製,再經過小批量的試生產,再進行交付,交付完還有售後,這一整個全鏈條。硬件我覺得跟軟件非常不同的一點是,軟件可以做到全棧,有全棧工程師。但硬件沒有全棧工程師,硬件一定是分門別類非常細化的,你要把這些不同的零部件,不同的方向的硬件的人組織到一起,去協同地實現研發、試製和交付,需要有很好的組織體系作為保證。像華為這樣的組織體系,它是能夠達成這一點的。但是因為我們是創業公司,也不用說像華為那樣,一上來就很龐大的。
用任總的話說,就是我們神似形不似,我們掌握其中的精髓,但具體在做的時候,可以進行一些簡化和完善。在AI方面的話,我認為還是要快速迭代的,保持一個之前在理想的這種快速迭代的模式。因為創新不是被計劃出來的,它一定是迭代出來的。在具體的組織規劃上,我們需要讓大家充分達成共識的前提下,去發揮每個人的能力快速迭代。:可以在邊打仗的過程當中邊學習,邊形成真正的崑崙行的組織。郎鹹朋:是這樣。全棧自研才能量產 :當今具身,有人做本體,有人做大腦,有人做操作系統。為什麼上來就做全棧的具身智能機器人?特別是在2026年這個時間節點。郎鹹朋:從技術和商業上都有考慮吧。
具身智能如果想成功,它的一個最關鍵的標誌是你要量產,要自我造血。那麼在這裡邊,全棧軟硬一體的自研,一定是最佳的選擇。第二從技術上講,我們要在一個完整的技術底座上,搭建基座去做我們的技術研發,而不是一上來就是先做其中一部分。現在也可以看到,你要真正地想去做你的模型也好,硬件本體也好,你必須軟件硬件同時做,你才能做出比較完整的設計。就拿運動控制為例,你要是做運控的話,你只做下半身或只做上半身,可以做是可以做,但它並不像人。我們人到這個桌子旁邊拿一個水杯,我是走過來,一邊走一邊拿的,是一種全身的操作,而不是我先走到這兒停下,然後上半身再去拿這個杯子。
如果說你不是軟件硬件同時來做的話,你是不可能達到這樣一個設計的。從技術上來說,你的軟件和硬件必須一體化的設計,你才能達到最優的效果。從商業上來說,最終你的成功與否,是看你的整機出貨,你的量產交付,是不是能達到預期,而不是隻是做其中一部分。:“全棧自研”,棧到什麼程度?是本體硬件每個環節都自研,還是隻在關節、核心零部件這些關鍵處自研?郎鹹朋:關鍵的零部件上,肯定是要自研的,像關節、驅動電機,還有本體設計,這些是我們一定要自研的。很多人覺得是不是現在已經有供應商可以提供很多的供應了,我可以很快地攢一個機器人出來了。
△圖片由AI生成 但你攢一個機器人出來,只是一個實驗,或者一個原型樣機,它並不代表你能通過量產的試製,更不用說進行大規模的交付了,這些我覺得都還不成熟。所以,我們要去做自己的電機和關節、結構的自研。第二,我們需要在一個非常完整的技術底座上,去做我們所有的機器人的設計和研發。:這套全棧具身智能的理念,投資人一開始就buy in了嗎?還是也經歷過一個說服的過程?郎鹹朋:我們投資人都是很非常buy in我們的觀點的。因為我們定的目標很明確,我們就是要做機器人的量產交付。我們認為企業成功與否,或能不能過生死線的這個核心標準,就跟當年我們做車一樣——你的交付量是多少,是一個道理。
:聽說崑崙行很快就獨角獸了。有說法是10天,有說法是90天,哪種是準確的?郎鹹朋:大家對融資額或融資數目確實挺關注。實際上是我們是在三個月之內吧,我們達到了數十億規模的這樣一個融資額。但是我更想跟大家聊的是,不要過分關注融資這個數本身。因為融資只是我們的手段,不是我們的目的。我們還是希望能把融來的錢,更多地投到我們剛才所說的研發量產和項目上,我們更早地去拿出自己的產品,更早拿出自己的可讓大家看見的東西,這是我們更關注的。:是因為你跟任總兩個人的名字就值這麼多錢?還是你們在BP裡面展示了什麼,獲得了這麼大的認可?郎鹹朋:早期投資肯定是還是看人的,看團隊的。
我跟任總我倆過往的經歷和過往的這些成績吧,投資人都是非常認可的。而且我們剛才提到的這些方向和判斷,投資人也非常buy in,所以說對我們的認可也體現在我們的融資額上。:為什麼在具身智能創業裡,華為出來很多人,理想出來很多人?作為一家華為+理想的公司,你怎麼看?郎鹹朋:我覺得這非常合理。因為理想和華為,是到目前為止中國這個市場上,在全棧自研,包括0到1、1到10這樣一個階段走得最好的兩個公司。而且這兩個公司都有各自的特點,華為擅長體系化、組織協同,在硬件量產以及組織協作上有很好的經驗。理想就是產品迭代,和AI的0到1,在自動駕駛方面也有很好的落地的經驗。
我覺得華為人和理想人受到市場上的認可是非常合理的。我也非常高興地看到,自己以前的一些戰友,或者一些熟人,也各自在自己的領域都做得挺好的。但是我覺得其實再往後走,還是需要把整個的能力建設在自己的組織上。因為人可能會流動,比方一個算法可能跟著人走,但是組織的能力才是最重要的護城河。不管是剛才我說的體系化作戰能力,還是創新迭代的能力,這些要讓它長在自己的組織上,這是崑崙行我們自己要做的非常重要的工作。:為什麼在你們的理念裡,工程被強調到高過模型的位置?是模型層面已經差不多了,還是說工程無論如何都是更重要的那一端?郎鹹朋:不是差不多了,是恰恰相反,因為我覺得還是屬於比較早期。
你剛才的描述也不是特別準確,我覺得最終模型和工程是平衡的。但現在呢,我認為模型大家都在比較早期的這樣一個摸索階段,如果說你想把現在的模型的能力落地到具體的產品上,可能需要更多的工程兜底的策略。不是說模型不重要,而是說你最終交付給用戶或客戶的,是在這個場景裡能完美表現的產品。如果只靠模型或只靠工程,我覺得都不行。我覺得像過往,像我這種0到1到100,就是真正地把一個AI的自動駕駛的產品做到量產,這種經歷的人也不多。這就是我們公司的一個核心優勢吧,這是最終能達到可交付、可落地產品的一個非常重要的能力。具身要理解不要模仿 :在這麼多具身公司裡,如果給你們貼個“工程派”的標籤,你們認可嗎?
郎鹹朋:這個我們不care,我們care的還是最終交付我們的產品。最終具身智能如果要落地的話,它是有自己的節奏的。具身智能包括什麼呢?包括運控智能、移動智能、交互智能,還有最難的操作智能。大家現在講的具身智能,可能很狹隘地就把它歸類到操作智能上了,它能幹活才叫具身智能,其實不是,我覺得前三個也很重要。△圖片為AI生成 運控智能就是現在大家看到的跳舞表演這種,這也是一種運控智能,那在表演類的機器上已經做得比較好了。移動智能跟自動駕駛更相關一些,自動駕駛就是非常好的移動智能,我們可以把自動駕駛的相關技術落地到現在的導覽、巡檢機器人上。
交互指的是語言表達類的交互,得益於現在大語言模型的這種發展,我覺得也相對來說比較成熟了。但是操作智能,我認為現在還屬於比較早期,所以說這個誰能先把操作智能做出來,誰能突破這個上限。但是不代表操作智能沒做出來,具身智能就沒有發展,前面三個其實依然也在迭代當中。:在離開理想的時候,你覺得實現加入理想時候期望的智能駕駛目標了嗎?郎鹹朋:當時我從百度來理想做自動駕駛的時候,我內心的一個目標,沒有跟別人說過的,就是我做的自動駕駛車一定要比別人都多,在路上實際能跑的那種。從這個角度上來看的話,現在應該是實現了。
因為理想的輔助駕駛是標配,在路上已經超過150萬輛車,這些車上都帶著我和團隊一起做的自動駕駛功能。從這個角度上說,我覺得還是實現得挺好的。:連點成線來看,你覺得你在理想的時期,智能駕駛技術經歷了哪幾個階段?郎鹹朋:技術範式就是從有圖做到輕圖,做到無圖,再到端到端加VLM,加再做到VLA。我覺得這個範式的迭代裡邊有小范式迭代,有大範式迭代,最大的範式迭代就是從無圖到端到端加VLM這個迭代。我認為最主要的還是說我們一開始錨定的這個認知——就是數據驅動,我覺得這個從來沒有變過。這裡邊到底是技術本身發展帶來的,還是量產交付帶來的?我覺得是交織在一起的。
沒有量產交付這麼多車,就沒有這麼多數據,那麼沒有這些數據也喂不出來我們的模型。就是跟剛才我說的工程和模型之間,它是一個balance的狀態,不能說一頭強一頭弱,這樣是不合理的。但是這裡邊也有偶然因素。比如說2022年底的時候,ChatGPT 3.5的爆發,讓我們一下子就get到了大模型的端到端訓練的範式,從預訓練到後訓練到finetune的範式。我覺得最核心的還是你的認知上的超前判斷,以及堅持。另外就是你在做量產的時候,不斷去驗證和累積你的認知上的一些能力,等到技術爆發那一刻,我們是最先站到這個臺前的。:相當於有了道的領悟,裡面的術其實是可以隨著道去變化的。
郎鹹朋:我確實有一句話也能很好詮釋這一點吧,就是有道無術,術尚可求之;有術無道,止於術。:端到端VLM、VLA和世界模型,也是具身智能機器人裡大家爭論的技術路線,這對你們啟動崑崙行創業的過程中,有什麼討論嗎?郎鹹朋:現在詞兒確實是很多,現在大家可能VLA提的也少了,主要是世界模型了。但是不管怎麼樣,我能看到這裡邊一個趨勢,就是大家慢慢地還是從對動作的模仿,轉到了對世界的理解,我覺得這個方向和趨勢是更加清晰了。大家慢慢也意識到VLA的一些侷限性,它對動作的模仿並不本質。實際上現在對世界模型的看法,我覺得也不是完全趨同。
對於世界模型其實可以分三類,第一類是模擬叫渲染器,渲染就是渲染圖像像素,視頻生成。第二類是模擬器或者仿真器,做這個仿真的,對於狀態和動力學進行仿真。第三類是輸出動作,我怎麼去做出更好的動作策略。我認為一個好的世界模型,這三點都應該包括,它既能去做渲染,又能做動作的生成,還能做生成的評價。△圖片為AI生成 我們的世界模型從設計的第一天開始,就是把握住了這樣一個叫“物理因果”的第一性原理。首先有一個行為的目的、目標,有了目標產生了動作,動作產生了一個結果,這個結果評價動作的好壞。那麼我們在模型設計裡邊,其實也是這麼來設計的。
我們現在整個的模型架構是一個MoT的架構,很多人也在用MoT,但是它是從模態上去分多個專家的,文本的、視頻的和動作的。但是我們從一開始的理念不是這麼分的,我們分的就是目的、干預和結果。我們的目的呢,是一個就是用自迴歸的方式去做文本和場景的理解,是產生我們動作的目的。第二個是action(動作),動作是我為了這個目的,我要做什麼?第三個才是我的結果,就是我做了這個動作之後,我會產生什麼樣的結果?是用因果的關係來分的我們的專家。我們是設計了一個叫聯合因果注意力機制,跟之前的MoT有所區別。之前MoT架構裡面,它的注意力機制是完全share的,三個專家可以完全地共享,但是我們認為不合理。
當我在做動作的時候,我應該只能看到我的目標是什麼?等我做完動作之後,動作和目標產生這樣的結果。在我們的因果注意力機制裡面,我們的注意力機制是單向流動的。換句話說,我在做動作的時候,我不能偷看我的結果是什麼,這樣就作弊了,也不符合我們因果第一性的原理。我們的世界模型既可以生成動作,又可以生成對這個結果的預測,還能渲染最終的視頻的結果,我們是同一套架構能做各種各樣的事情。這是我們對現在的世界模型一些思考,但是我認為隨著技術的迭代,我相信將來還會有很多範式的迭代,但是我們的目標沒有變。從一開始就跟我們做自動駕駛一樣,從一開始我是要實現數據驅動的。
那麼現在我做具身智能也是,從一開始我就要實現模型對世界的本質的理解的。過程當中的具體的方案我可以迭代,但這個方向我是始終非常堅定的。:公開報道里提到你們走的是“物理因果VLA”的技術路線,剛才你講了不少世界模型的東西。這只是名詞或概念上的選擇,還是說你們在兩者間其實有某種傾向?郎鹹朋:我剛才說的,是我們在不斷迭代我們達到物理因果,或者對這個世界理解的路徑。這個路徑到底是什麼?剛開始可能是VLA,但現在我們慢慢迭代到world model,後續可能還會有其他的迭代。我覺得還是我說的那樣,就是實現的方法可以迭代,但是實現的方向我們是不變的。數據編譯與一腦多形 :能展開講講數據編譯嗎?
郎鹹朋:數據編譯是一個我們非常核心的一個技術細節吧,我就不展開講了。但是我覺得可以講講裡面的一些概念。我們認為如果你想做物理因果的實現的話,那你的數據裡面一定要富含物理因果。剛才從模型的架構設計上,我們已經含了物理因果了,但是我覺得數據本身也要含物理因果。數據編譯的第一步是把我們在這個場景裡邊所有的物體,它的物理量進行顯式的處理,比如說它的重力、重量、受力分析、摩擦力等等,我們會做一個顯式的表達。可能不是像大家想象的那樣,就是我拿一個帶觸覺的傳感器去摸一摸這個杯子呀什麼的,它就給我反饋的東西。
因為我們收集的一些數據裡面,或者我們看到一些數據裡面,它並不一定都帶這種力的傳感器,所以我們要通過自己的模型去把它算出來啊,到底它的受力、摩擦、觸覺是什麼樣子的?第二個的話是我們要落實很多的物理機制,比如說一些物理規律,像牛頓第二定律等等,這些物理機制我們要沉澱下來。第三我們要把剛才的這些物理量和機制編譯成我們的最終的訓練樣本,訓練樣本里邊兒就帶著這些物理量和物理規律。第四我們還會用一些數據的回傳的機制,不斷地去迭代和修正,去挖掘出,就跟我們當時在自動駕駛裡邊的影子模式一樣,去挖掘出一些它表現不好的一些數據,回來再重新進行標註和編譯。
:所以這其實是把客觀物理世界的規律——包括那些還沒法量化的部分——做token化轉換,聽起來像是一種“數據編譯”的工作?郎鹹朋:對,我們是從源頭上接,我們不會很平凡地去使用原始的數據,我們會把這個數據進行一次加工,加工成我們適合我們自己這個模型訓練的數據。:一腦多形也是崑崙行強調的,為什麼不是一腦一形,或者套娃具身?為什麼從起步就需要一腦多形?郎鹹朋:這個不是我們選擇的,而是
Related
相關文章

2026 世界機器人大會在京閉幕:首發新品 311 件,下一屆官宣 2027 年 8 月 18 日開幕
作者:汪淼 責編:汪淼 評論: 8 月 24 日消息,為期 5 天的 2026 世界機器人大會於 8 月 23 日在北京落下帷幕。

買場景、建團隊、借渠道,OpenAI如何做企業服務
17分鐘前為什麼海外市場成了影響泡泡瑪特價值的關鍵18分鐘前從高珠到大眾時尚,飾品行業迎來新變化2026-08-20閱讀更多內容,狠戳這裡查看AI測評豆包WorkBuddy千問選靠譜AI,看真實評測查看AI測評官方交流社區加入諮詢項目審核和入駐聯繫項目推薦訂閱號關注下一篇格局生變,新銳集體圍剿韓妝巨頭?

李澤湘投過的商業園林機器人完成數千萬融資,瞄準海外綠地智能運維|硬氪首發 |
李澤湘投資的商業園林機器人公司完成數千萬人民幣融資,目標鎖定海外綠地智能運維市場。該公司提供商業園林智能作業平台,強調可複製且能降低成本、提升效率的生產力方案。
曝Hugging Face擬出售,估值或達130億美元
Hugging Face尚未對出售消息作出正式回應。Hugging Face是全球最大的開源大語言模型和數據集託管平臺,被業內視為“AI領域的GitHub”。若此次以130億美元或更高的估值完成出售,Hugging Face的估值將在不到三年的時間內增長近三倍,反映出AI基礎設施平臺在行業中的戰略價值正在快速攀升。就在此次出售消息傳出前一個月,7月16日Hugging Face剛剛經歷了一場震驚業界的安全事件。OpenAI的AI模型在安全測試中“失控”,自主入侵了Hugging Face的生產基礎設施。

脫單也靠AI,“賽博媒婆”拿到1500萬元天使融資
吳維消費星球2026.08.24 12:08 · 來自四川全文5561字00:00 / 16:05AI是婚戀的良配嗎?文 | 吳維消費星球2026年的創投圈,有一條心照不宣的潛規則:BP裡寫上”AI”兩個字,融資路能少走一半。AI賣咖啡,AI看風水,AI算八字,AI陪失眠的年輕人聊天到天亮。
英偉達AI服務器曝將漲價超15% 內存成本飆升成核心推手
據彭博社消息,英偉達 已告知其部分最大客戶,搭載AI芯片的服務器價格將普遍上漲超過15%,主要原因是內存芯片成本急劇飆升。具體漲價幅度將取決於英偉達芯片的型號以及內存配置。英偉達方面對此尚未作出回應。據分析師預測,2026年第二季度傳統DRAM合約價格環比將上漲58%至63%,此前第一季度已飆升90%至95%。消息面上,英偉達將於8月26日公佈第二財季財報。業內人士認為,此次漲價將進一步推高AI數據中心的建設成本。