圖形學宗師童欣加盟Meshy，要做“AI for Fun”的頭號玩家

他要和這一代最富有想象力的年輕人一起，去創造一個新的圖形學。程淺 發自 凹非寺 | 公眾號 QbitAI AI創新的下一塊高地，正在向3D生成聚集。從多模態生成、世界模型，到空間智能、具身智能機器人…… 3D，正在成為下一代AI的核心引擎。而現在，圖形學領域的宗師級人物，與AI 3D賽道最炙手可熱的明星公司，聯手了。最新消息： 童欣，正式加入了胡淵鳴創辦的Meshy。胡淵鳴童姥大會師 據最新消息，童欣將出任AI 3D公司Meshy的首席科學家，負責制定Meshy的長期科研戰略。

這可能意味著，華人圖形學界最具代表性的兩代研究者——Meshy創始人胡淵鳴與童欣，將共同推進多模態世界模型與實時交互系統的突破。童欣此前在微軟亞洲研究院工作25年，期間曾領導網絡圖形組，並擔任全球研究合夥人。其研究方向涵蓋計算機圖形學與三維計算機視覺，具體一點，包括不限於材質捕捉與建模、紋理合成、三維幾何處理與建模、光傳輸分析與模擬、真實感繪製、三維人臉動畫。△童欣其人 計算機圖形學，簡單來說，關注的是“如何在計算機中創建、操控和呈現三維世界”。這一領域在遊戲、影視、工業仿真中具有基礎性地位，在當下則愈發成為AI感知與表達的基礎設施。畢竟不懂三維，AI就難以真正理解和進入物理世界。

而童欣，是在這個方向上紮根最久、積澱最深的學者之一。1999年，童欣剛從清華博士畢業，就進入了成立不到一年的微軟中國研究院，也就是日後被稱為“中國科技界黃埔軍校”的微軟亞洲研究院。二十多年間這裡走出了無數影響中國乃至全球計算機研究格局的核心人物——不過那就是另外的故事了。作為亞研院的第一批研究員，童欣在這裡一待就是25年，從研究員一路做到全球研究合夥人、網絡圖形組負責人。幾乎見證了中國計算機圖形學的所有重要時刻。這期間童欣在頂刊頂會上發表了大量論文，其Google Scholar引用已超過21000次。

這些技術研究給微軟留下了不少好東西，包括Xbox遊戲開發API、Xbox兼容軟件、Windows三維打印驅動，以及Direct3D圖形開發工具包等等。此外童欣還給亞研院網絡圖形組留下了另一筆“財產”：一批足以撐起當下華人圖形學界的中堅力量。25年間，他在這裡合作、交流、指導了一批又一批優秀研究者。

浙大周昆，ACM Fellow、IEEE Fellow，CAD&CG全國重點實驗室主任，與童欣合作多年，從3D打印、計算設計一路探索到NeRF與神經渲染； 清華徐昆，清華大學計算機系長聘副教授，國家傑青，讀博期間與童欣多次合作發表SIGGRAPH論文； 北大王鵬帥，北大王選所助理教授，從實習生到高級研究員一直在童欣麾下，如今已是三維幾何學習領域的代表學者…… 這些和他共事過的人，對童欣的評價往往出奇一致： 平易近人，始終撲在一線，能就極其細節的技術問題進行嚴謹討論，也能把複雜的技術問題用大白話講明白。

因為在童欣看來，計算機圖形學是一個計算機應用學科，正因此，所有的研究問題都來自實際需要和新設備、新數據的出現。此外，童欣也很是幽默風趣，比如，他是這麼形容自己的研究的： 我的家人除了對我做的飯菜比較認可，經常開玩笑說我每天對著屏幕上的三維茶壺、兔子甘之如飴自High不已，但是看起來我做的事情大不能改變世界局勢，小不能提高百姓生活，實在不明白我的成就感來自哪裡。△圖形學人的老朋友：Utah茶壺與Stanford兔子 這就是圖形學圈裡無人不知，無人不曉的“童姥”，擁有極深厚的學術功力，卻帶著孩童般的親切和好奇。倒也貼切。

“AI for Fun” 可以說，童欣在圖形學界走到這一步，領域內能與之匹配的也只有Meshy這樣的明星獨角獸了。Meshy是胡淵鳴從MIT博士畢業後創辦的第一家公司，它的定位很簡單，即把文字和圖片變成3D模型。目前，Meshy聚集了1200萬名用戶，客戶覆蓋了全球市值與估值前十企業中的半數。今年7月，Meshy完成了近4億美元的B輪融資，投後估值超100億元人民幣。一舉創下了全球AI 3D領域單輪融資規模與估值兩項紀錄，成為該領域估值最高的公司。不過，不管是更快的增速，還是更高的估值，相較於Meshy的願景而言，還是過於具體了。胡淵鳴，Meshy.

ai創始人，揚州中學校運會400米冠軍，清華姚班歌唱比賽二等獎，MIT計算機圖形學博士，SIGGRAPH最佳博士論文提名，Taichi編程語言、編譯器作者。△胡淵鳴其人 他提出了一個聽上去有點特別的目標： AI for Fun。他的邏輯鏈是這樣的。在未來，當AGI解決了大量生產力問題之後，人類將只剩下一個核心問題。“我們要如何創造、表達、連接？最重要的是，我們將如何獲得意義？” 讀書、旅行、玩遊戲、刷短劇……這些確實可以為我們創造快樂，然而在一個自由時間如此豐饒的時代，我們“一定會去追求更新穎、更有效的快樂和意義感生成方式。” 這樣的方式，註定會由AI來驅動。

所以，“用AI給人類帶來快樂和意義感，將是未來五年最重要的問題之一”。而Meshy，想成為這個圖景裡至為關鍵的那塊拼圖。△Meshy Game Studio的第一款產品《黑箱：無限重構》遊戲畫面，圖源公眾號「胡淵鳴 Ethan」 用胡淵鳴的話來講就是，他們要做的是“基於生成式AI重塑圖形學，找到將想象具象化的全局最優解。” 此為何意？換句話說，在今天，AI 3D要做的不僅僅是在圖形學的指導下讓AI更高效地完成建模、貼圖和渲染。長遠來看，AI 3D的終局，可能是想象的具象化。這種前瞻視角與童欣的理念頗為契合。

2016年童欣就提出，要解決圖形內容生產的everyone和everywhere問題，讓任何人anywhere都能創造可視媒體內容。十年後的今天，“everyone everywhere創造可視媒體內容”變成了“讓任何人只用一句話就能把想象變成一個可進入體驗、互動的世界”。這當然是很宏大的願望。為了實現它，Meshy當下正在三個層面上做基礎性技術研究工作： 首先，也是最重要的——重新發明圖形學。為此，要走出過去網絡圖形學裡圖形渲染管線的局部最優解，用AI重新打造一套不依賴於“三角形”的全局最優解，這裡的“三角形”是GPU渲染三維物體的最小單位。

△斯坦福兔子包含了69451個三角形數據 其次，要搭建導演系統。如果說新的圖形學更像一個劇組，那麼就必須有配套的導演系統才能實現AI for Fun。這個導演系統負責制定世界的運行機制和3D骨架，實現劇本的實時編寫。最後是基礎設施。低延遲、高畫質、低成本的三維生成與渲染基礎架構是必要的，因為，即使剎那的卡頓在AI for Fun的體驗中都會被數百倍放大。為此，需要重新設計一套高性能的infra，而這點，正與胡淵鳴的博士論文、Meshy創業之初做的Taichi編程語言的基礎一脈相承。在這些基礎研究之外，Meshy的新模型也在攻克著當下AI 3D領域的具體卡點。

比如“可控性”問題，即生成結果是否忠實於輸入圖像，表現為整體比例的準確性、空間分佈的合理性以及表面細節的還原度。今年8月10日，Meshy發佈了Meshy-7，在幾何對齊（geometry alignment）方向邁了一大步，具體而言： 在有機角色方面，模型能夠還原面部表情、解剖結構與皮膚褶皺等細節； 在硬表面與機械零件方面，各部件能夠準確落在圖像給定的位置，相鄰部件互不粘連； 在文字與紋樣方面，陰刻文字與浮雕圖案清晰乾淨，可直接用於激光雕刻等工業場景。應該說，Meshy在這些方向上的探索與童欣的關注點耦合，其近年的研究方向正處於3D與視頻生成的交叉地帶。

正如他在2024年所提出的那個經典問題：“三維是否只是視頻生成的特例？” 即，如果一段視頻已經能從任意角度“看到”一個物體，我們還有必要顯式地去構建它的三維模型嗎？答案尚未明瞭。但眼下確定的點是，童欣在AI多模態訓練方面的前沿研究和工程積累，可以把Meshy的探索帶向更遠的地方。“Mora：超越世界模型” 恰逢本文成稿時，胡淵鳴又在自己的公眾號上發佈了Meshy團隊的新工作，Mora。胡淵鳴 | Mora：超越 “世界模型” Mora是“Multimodal Open-world Real-time Architecture”的縮寫，意為“多模態開放世界實時架構”。

簡單來說，它由三塊拼圖組成： Coding agent，用來生成遊戲世界骨架和運行代碼； 3D生成，也就是Meshy這塊最重要的拼圖，可以用來豐富骨架，輸出給視頻模型的控制信號； 視頻模型，接收3D場景信號，輸出最終畫面與音效。胡淵鳴稱這是一項“超越世界模型”的技術。口氣不小，怎麼個超越法呢。還記得今年1月，Google Genie 3上線可玩demo，宣稱自己“是一款通用世界模型，能夠讓用戶使用文字生成可探索的真實環境”。為此Unity一天跌了24%，Roblox跌了27%，市場太興奮了：以後做遊戲不需要遊戲引擎了，一個視頻模型足矣。

然而大半年過去，胡淵鳴玩遍了市面上所有世界模型demo後，對著當下幾乎所有互動視頻模型，力陳八大弊。包括一致性弱、互動簡單、物理解算能力弱、體驗時間短、無法支持劇情和複雜邏輯、以單人遊玩為主、無法利用Coding的機制生成能力、延遲較高。一言以蔽之，就是難玩。然而這很可能不是一個靠優化就可以解決的問題。現有視頻模型本身並沒有真正的智能，它們本質上只是一個渲染器，沿著這條路做下去，最後只能做散步模擬器。Mora的路線是反其道而行，既然視頻模型解決不了3D空間一致性，那就讓它做好自己該做的。

讓Coding agent搭骨架，讓Meshy生成3D，最後再讓視頻模型出畫面，這樣空間既穩定，又精緻，還能玩。看得出來胡老闆真的是很狂熱的老玩家了。不過Mora 1現在還處於很早期的階段。它只是用來驗證一個框架。然後在這個框架下，通過scaling一步步逼近目標。由此回到童欣的那個問題，三維是否只是視頻生成的特例？Mora給出了一個初步回答：至少在當下，兩者不必是替代關係，可以在Coding agent的串聯下各司其職。這個答案當然還遠未確切，但走到這裡，問題也已經變得模糊了。這種感覺對童欣來說並不陌生。

二三十年間，他親歷了一輪又一輪技術衝擊：過去畫3D全靠手寫規則，後來神經渲染來了，AI從照片裡學會了光影；生成式AI來了，逼真畫面不再依賴3D管線；視頻模型來了，甚至能讓動態世界憑空湧現…… 新技術一次次叩問傳統圖形學的邊界：圖形學應該以怎樣的形態繼續存在？面對這個越發迫切的問題，童欣再一次出發了。他要和這一代最富有想象力的年輕人一起，去創造一個新的圖形學。版權所有，未經授權不得以任何形式轉載及使用，違者必究。