華為群英傳之劉睿：AI助手要告別聊天框，從“被動響應”走向“主動服務”

在商湯沒做成的技術，登上了華為發佈會。作者：李秋悅編輯：吳彤2022年6月，劉睿港中文博士畢業，趕上的卻是一個“壞時候”。深度學習的高光已持續近十年，新突破越來越難；疫情之下，經濟低迷，同屆不少同學選擇延期，再守一年實驗室。劉睿沒有等，他直接去了商湯。兩個月後，Stable Diffusion發佈；又過了三個月，ChatGPT引爆全球。劉睿畢業時以為正在退潮的世界，忽然換了一片海——商湯賴以生存的生意，為手機廠商定製算法、出售授權，開始鬆動；原本需要一個團隊單獨研發的算法，正被一個個基礎模型收編。然後是2023年12月，湯曉鷗去世。“定海神針”突然離開，公司內部人心惶惶。

劉睿也第一次認真想：湯老師不在了，商湯怎麼辦，自己怎麼辦。回頭看，這個“壞時候”裡埋著他此前人生的所有伏筆。2014年考入電子科技大學，他最初學光電子，很快覺得天地太窄；轉入英才實驗學院後，吳恩達的CS229讓他迷上機器學習，李飛飛的CS231n把他領進深度學習和計算機視覺。2018年，他進入港中文MMLab，在王曉剛、李鴻升門下研究生成式模型——那正是幾年後掀起巨浪的方向。從傳統機器學習到深度學習，他幾乎踩著AI最熱鬧的鼓點走完了求學路，卻在畢業這年，聽見鼓點停了。2024年，劉睿加入華為。這一次，他想換一種做技術的方式：不再把算法賣給客戶，而是直接把它交到用戶手裡。

此前在商湯未能立項的對話式修圖，被他推上了2025年華為Mate 80的發佈會；年底，小藝大模型應用實驗室成立，劉睿出任首任主任，研究範圍涵蓋大語言模型、多模態智能、Agent與具身智能。做研究與做產品，在他手裡第一次合流。也正是在這個時候，2022年那個“壞時候”顯出了另一副面孔：如果他像同學一樣延期一年、守在實驗室裡等風停，等來的不會是避風港，只會是又一場追趕。所謂壞時機，不過是舊浪退去、新浪未至的間隙——有人站在岸邊等，有人先下了水。現在，劉睿關心的不再是追不追得上技術，而是另一個問題：模型能做的，和用戶要的，之間還差什麼。

以下是左林右狸頻道與劉睿（華為小藝大型模型應用實驗室創始主任）的對話，經編輯。01 商湯往事，大模型顛覆算法生意左林右狸頻道：2018年，你在本科大四下學期去商湯科技研究院做實習生，是什麼契機？劉睿：2017年7月，我參加香港中文大學MMLab的夏令營，認識了王曉剛、李鴻升、林達華幾位老師。他們給我發了口頭offer，我聊下來感覺也很好，決定明年去港中文MMLab讀博。王曉剛、李鴻升老師覺得，做研究應該解決更有價值的工業界問題，所以建議我去商湯科技研究院實習，提前接受一些產業界的鍛鍊。左林右狸頻道：當時面試你的人是閆俊傑。

劉睿：俊傑這個人非常好，非常Nice，他是一個很有技術追求的人，也是我當時的mentor。但第一次面試時我對他的印象其實是他很sharp，面試體驗也很特別，不會像其他面試官一樣安安靜靜聽你完整講完一個工作，而是從一個點開始連環追問你，一直挖到觸及你的知識盲區，再讓你繼續介紹工作。而且他抓重點非常精準，非常高效。十幾分鐘的連環問結束，他說歡迎來實習，就掛斷了電話。左林右狸頻道：在商湯科技研究院實習那小半年的時間，你在做什麼工作？劉睿：當時主要做人臉識別研究。

俊傑雖然是我的Mentor，但他從2015年加入商湯，一路從實習生做到總監，工作已經非常忙了，所以我更多是獨立開展研究，向組裡一些資深的研究員學習。這段實習有兩個大收穫，第一是接觸到了大規模算力集群。當時商湯擁有非常豐富的GPU資源，我們可以一次性啟動幾百甚至上千張GPU訓練人臉識別模型。我也是在那裡學會了大規模GPU集群的使用。當時還處於深度學習時代，大家對算力重要性的認識沒有今天這麼深，但已經隱約感覺到，有算力的地方就有優勢。第二是建立了產業界的Sense。此前我做研究，更多關注偏理論的問題。但在商湯，我逐漸意識到，真正有影響力的研究，應該解決實際的工業難題。

這段經歷也影響了我後來的研究選擇，我一直希望自己做的技術能夠解決真實的工業問題。左林右狸頻道：2022年6月，你從港中文MMLab博士畢業，去商湯工作了兩年？劉睿：我讀博期間，王曉剛老師的主要精力已經逐漸往商湯遷移，我也受到王老師的影響，跟他所在的商湯部門有一些合作和聯繫。王老師主要負責牽引工業問題，李鴻升老師指導我具體的學術研究。畢業後，我算是順理成章就加入了王老師負責的商湯MIG（Mobile Intelligence Group，移動智慧事業群）。當時MIG主要分終端和智駕兩塊，我在終端方向，主要為“華米OV”等手機廠商研發算法。

同期合作比較多的是孫文秀和任思捷，俊傑當時已經離職創辦MiniMax了。左林右狸頻道：那兩年你在幹嘛？劉睿：我們當時做的事情很簡單，就是嘗試跟高通、聯發科這些端側芯片公司，包括索尼這樣的半導體公司合作。因為華為、小米、OPPO、vivo這些手機終端廠商，都需要採購底層芯片。他們可能需要買高通、聯發科的CPU、GPU芯片，以及索尼的圖像傳感器（作為手機相機模組裡的核心組件）。我們在整個終端領域，相當於直接從上游切進去，我們跟這些半導體公司合作，幫他們做一些預研。比如他們有一些新型的、在研的、比較機密的芯片，會提前讓我們拿到。

我們就在這些芯片的基礎上做算法研究，看怎樣能夠在端側芯片上跑出效果好、性能也好的算法Demo。當華為、小米、OPPO、vivo這些手機終端廠商採購芯片的時候，我們一方面可以幫助芯片廠商證明自己芯片的優越性，另一方面也能宣傳我們自己的算法。我們還可以把這些算法打包賣給手機廠商，基本上做的就是這樣一個生意。左林右狸頻道：2022年底，Stable Diffusion和ChatGPT相繼出現，商湯內部什麼反應？劉睿：我們感受到的衝擊非常明顯。在商湯的時候，包括湯老師、王老師，包括我自己、閆俊傑，很早都意識到了傳統深度學習的一些問題。

前大模型時代，也就是Deep Learning時代，最大的問題就是不泛化。但是大模型一出來，你發現它泛化了。所有NLP領域的Task，都可以被一個統一的模型解決掉，而且統一在Dialogue，也就是對話的框架裡面，這件事情就變得很Crazy了。我們相信這是一個變革性的技術，一定會席捲全世界。所以我覺得，我們內部也得開始做這件事情。左林右狸頻道：2022年底，你在商湯內部做了兩個重要的talk。劉睿：我跟業界同行線上線下交流比較多，包括在知乎、推特這些社交媒體上，也有很多技術討論。至少在我們這個領域內，大家很快就達成共識：GPT和Diffusion這些技術就是未來。

所以，那一年年底，我馬上在MIG內部做了兩個Talk。一個是介紹圖像生成，也就是Diffusion Model；一週之後，我又做了另一個報告，講大語言模型，也就是GPT路線。我算是較早在MIG內部宣傳、推廣這些新技術的人，部門就讓我去負責一些新興項目，也就是生成式AI領域。我開始從芯片預研獨立研究員轉型成Team Leader，帶團隊做前沿研究，包括探索最前沿的大模型、生成式AI相關算法和模型以及怎麼樣在端側場景中落地。左林右狸頻道：到了2023年，你的工作有什麼變化？劉睿：2023年一整年，我都在做前沿大模型和生成式AI相關的事情，也在極力推動這些技術到終端產業落地。

但我發現，以前深度學習時代賣算法SDK的商業模式，在大模型時代好像不管用了。以前深度學習時代，你推廣技術，讓別人採購你的東西很容易。雖然是定製化，每次做一個項目都要專門投入研究員做算法調優，但是因為粥多僧少，這種商業模式還是成立的。對於華為、小米、OPPO、vivo這些公司來說，如果做一個特別垂直的領域，比如人臉識別、OCR文字識別，他們自己投入研發，成本也很重。與其自己做，不如外採，從商湯這樣的算法供應商那裡採購服務。大模型時代，因為有泛化，只要模型的基礎能力足夠強，自然而然就可以Cover各種各樣的垂直領域，不需要你幫它做垂域調優。很多公司，他們想自己構建基礎模型。

或者說，就算他們沒有這個自研能力，他們想要的也是怎樣跟商湯研究院達成合作，讓商湯給他們提供一個很好的基模，而不是跟MIG做生意。左林右狸頻道：但大模型時代，還可以賣API、賣Token。劉睿：當然，後來OpenAI、Anthropic走出來的商業模式，就是賣API、賣Token。不過，當時看的還不那麼清楚，固有認知下，賣SDK的毛利肯定更高，因為SDK只需要把License授權出去，就可以掙錢，也沒有什麼成本。賣API和Token，需要自己建服務器、做算力、提供推理服務，還是有相當一部分成本的。這也教會了我一個道理：一定要擁抱最前沿的技術，商業模式是隨之而變的。

左林右狸頻道：2024年，你為什麼選擇離開商湯？劉睿：最本質的原因就是剛剛講的，我發現大模型時代，賣算法SDK的商業模式不管用了。還有一件事算是導火索，2023年12月15日，湯老師意外離世。在那之後，身邊的氛圍變得不是很好，整個商湯的人心受到很大的衝擊。湯老師對商湯來說，是一個“定海神針”一樣的人物。當時氛圍很差，好像整個商湯就沒有這樣一個主心骨為大家支撐了。很多人都在質疑，商湯是不是不行了？商湯如果一直不能盈利，該怎麼辦？受這種氛圍的影響，我也開始看一些外面的機會。左林右狸頻道：還有其他原因嗎？劉睿：有。在商湯的時候，我有一個痛點，就是需要做定製化。

作為乙方給甲方提供服務，很多時候是被甲方牽著鼻子走的，這導致兩個問題，一沒有技術主張權，二沒有技術延續性。首先有很多我認為很有開創性、很正確的方向，甲方沒有需求，商務接不到單子，研發就沒法做。其次今天客戶A說要做這個事兒，明天客戶B說要做那個事兒，我人手有限，只能打一槍換一個地方，長此以往技術延續性會缺失，沒法做出斷代級技術。所以我希望去一個相對更自主可控的地方，做甲方，比如“華米OV”就是我的目標之一。02 下一代智能助手要能主動服務左林右狸頻道：2024年8月你從商湯出來後，為什麼選擇加入華為？

劉睿：一方面，我希望從乙方轉向甲方，真正面向C端用戶，有自己的產品判斷和技術主張，讓研究方向能夠長期延續。另一方面，華為終端的小藝業務當時恰好在香港佈局，需要有技術判斷力和團隊管理經驗的人，雙方的願景非常契合，也感謝小藝的領導有魄力，認可我這麼個年輕人，願意放權給我。左林右狸頻道：你前面提到在商湯時，有一些自己覺得很好的想法，但是作為乙方實現不了，具體指什麼？可以舉一個例子嗎？劉睿：這個很有意思。當時我在商湯跟小米合作，收到過一個需求，他們想在手機圖庫裡增加一些修圖功能。我當時就覺得，為什麼一定要在圖庫裡面做。因為大語言模型可以通過對話，把自然語言和聊天上下文統一在一個產品形態裡。

修圖這件事情，是不是也可以通過對話的方式統一起來？但當時華為、小米、OPPO、vivo這些產業方，都沒有提出很明確的需求。這個想法很好，卻沒有機會開展，我的價值實現不了。後來到了華為之後，我迅速帶人攻克這項技術，成功推上線，應該也是整個終端行業第一個落地的對話式修圖技術，同期谷歌也推出了個類似的產品叫Nano Banana。以前修一張圖，需要在圖上反覆修改，使用比較複雜的圖像處理工具，比如Photoshop。現在只需要通過自然語言對話，就可以完成。左林右狸頻道：加入華為之後，你是怎麼一步步建立小藝大型模型應用實驗室的？劉睿：我是2024年中加入華為的，最初掛在香港研究所的諾亞方舟實驗室下面。

當時小藝剛開始在香港佈局，希望建立一支前沿研究團隊，解決內地業務中一些技術難度高、研究週期比較長的問題。我選擇的第一個切入點，就是之前在商湯一直想做的對話式修圖。2025年下半年，餘總在Mate 80發佈會上介紹了這項技術。這個成果讓總部認可了我們的研究能力，也讓業務未來的方向更加明確。2025年年底小藝大模型應用實驗室正式成立，我擔任首任主任，研究方向也從圖像生成逐漸擴展到多模態理解、agent，以及世界模型、具身智能等前沿探索。左林右狸頻道：今年上半年，實驗室有哪些代表性的研究？

劉睿：主要有兩項，一項是4月份發佈的Aura流式視頻理解模型，支持實時視頻交互、主動服務和一問多答，這個工作在5月份被由OpenAI前CTO Mira Murati創辦的Thinking Machines Lab引用，評價為最接近他們思想的前沿工作。另一項是6月份發佈的Boogu，一個開源圖像生成基礎模型，希望用更低的成本實現更好的生成效果。此外，還有Math Canvas、Omni-Interact，以及大模型推理和智能體工具調用方面的一些研究。左林右狸頻道：Aura要解決什麼問題？相比過去的多模態模型，最大的不同是什麼？

劉睿：以前的多模態大模型，你發一張圖、問一個問題，模型返回一個答案，屬於一問一答的模式。但Aura更多是一種伴隨狀態。啟動之後，它就像一個小助手，持續共享你看到的視頻畫面。你可以隨時問它問題，它會根據之前看到的內容回答。比如你隨手把包放在某張桌子上，後來走了一圈，忘記放在哪裡。Aura可以幫你記住，提醒你“你把包放在了進門左手邊第一張桌子上”。它還可以持續觀察環境，主動提醒。我們已經在終端場景落地了一個導盲功能，視障用戶過馬路時，可以讓模型持續觀察紅綠燈，在綠燈亮起時提醒。在做菜、傢俱組裝等需要較長時間的場景裡，Aura也可以持續觀察用戶操作，適時提供指導。

比如做菜時，提醒你應該放什麼佐料、加多少油和鹽。左林右狸頻道：Aura是怎麼同時處理視頻、語音和文字，實現這種持續交互的？劉睿：底層還是以語言模型為基礎，接入視覺和音頻編碼器，將視頻、語音信息編碼到隱空間，再跟語言模型的語義空間對齊。這樣就可以利用語言模型原有的問答、推理和工具調用能力處理多模態信息。另一個關鍵是流式建模，我們把連續的視頻流切成一個個時間片段，每段大約300毫秒或者500毫秒。信息實時進入模型，模型持續推理，同時參考此前輸入的內容。這樣一方面可以記住過去的視覺信息，另一方面可以根據用戶意圖，在未來的關鍵信號出現時及時作出反應。比如主動告訴你，“你看，今晚的晚霞非常好看。

”只有實現連續的視頻理解，交互才可能像人與人交流一樣自然。左林右狸頻道：如果想讓助手持續地看、聽、說，現在最大的瓶頸是什麼？劉睿：我認為還是模型能力不夠。目前還沒有哪個模型在溝通時能完全像一個活人，但GPT Live已經有一定的“活人感”。它跟你聊天時會笑、咳嗽、停頓，也會附和你。你想打斷它，它也知道什麼時候應該停下來。GPT Live在純語音交互方面已經做得很好，但缺少視覺。我們研究的Aura則強調視覺全雙工（通信雙方同時收發），模型可以根據實時畫面調整自己的回覆。接下來，我們希望把語音和視覺結合起來，讓模型真正能夠邊聽、邊說、邊看。如果實現這樣的能力，就會非常接近人與人之間的自然交互。

左林右狸頻道：另一項工作Boogu，是一個低成本訓練的圖像生成基礎模型，它有什麼特別之處？劉睿：Boogu是我們用非常低的成本訓練出來的開源圖像生成模型。當時開源的千問圖像模型有200億參數，FLUX.1有120億參數，而我們的Boogu只有100億參數，但生成效果很好。按照我們的比較，訓練成本只有業界的十分之一，甚至百分之一。我覺得有點像圖像生成領域的DeepSeek時刻，至少我們當時認為它在開源模型中應該是第一。當然，跟OpenAI、谷歌的一些閉源模型相比，可能還是稍差一些。左林右狸頻道：參數更小、訓練成本更低，具體是怎麼做到的？劉睿：主要是數據和訓練基礎設施兩個方面的優化。

現實中的數據分佈是長尾的，常見物體在互聯網數據中出現頻率很高，不常見的東西則比較少。過去的主流做法，是儘可能把互聯網上的圖像數據全部收集起來，交給模型訓練。但我們認為，重要的不是讓模型反覆見到同一種東西，而是讓它見到足夠廣泛、豐富的數據分佈。所以我們減少了高頻數據，比如桌子、椅子，有些模型可能要學習幾十萬遍，但對我們來說，可能見過100多遍就差不多了。我們希望把更多訓練資源用在覆蓋不同種類的事物上。另一方面，我們優化了訓練基礎設施，包括顯卡之間的通信和並行計算，讓訓練和收斂速度更快。左林右狸頻道：Math Canvas又在解決什麼問題？

劉睿：Math Canvas主要探索的是圖像能不能為語言模型帶來新的智能能力。現在大語言模型隨著規模不斷擴大，能力越來越強，但過去大部分思維鏈都依賴文字。我們希望讓模型在思考過程中，也能夠生成和修改圖像。比如解一道數學題，需要數形結合。如果只靠公式推導，可能需要很長的思維鏈，還容易出現計算錯誤。如果直接在圖上畫一條輔助線，問題可能就迎刃而解了。所以我們希望把圖像處理加入模型的思考過程，而不只是把圖像作為輸入或者最終輸出。

後來GPT-6的一些功能也體現了類似思路，比如給模型一張“蒙娜麗莎的微笑”讓它畫出來，模型可以通過模型上下文協議（MCP）調用Photoshop，畫出一張圖，再觀察當前結果和目標之間的差別，決定下一步怎麼修改。這跟Math Canvas探索的思想比較接近。左林右狸頻道：你們還有一項工作叫Omni-Interact，它主要研究什麼？劉睿：Omni-Interact是一個流式全模態模型的評測基準。它延續了Aura的研究方向，我們發現要讓智能助手產生真實感、活人感，光有視覺理解還不夠，必須結合語音。人與人交流時，不只有文字和聲音，還有眼神交流、面部表情等。

所以我們想回答一個問題：到底什麼樣的助手，才算自然、真正有活人感？Omni-Interact就是希望建立一套評測標準，衡量模型能不能自然地看、聽、說，以及進行實時互動。左林右狸頻道：前面這些研究主要涉及多模態。你們在大語言模型和智能體方面有哪些工作？劉睿：我們做過GHPO和COVE。

GHPO是早期的GRPO變體算法之一，GRPO是DeepSeek R1的核心後訓練算法，通過強化學習去提升大語言模型的推理能力，我們發現GRPO這樣的經典強化學習算法會有獎勵稀疏問題，比如對一道題進行8次或者16次採樣回覆，答對了就獎勵，答錯了就懲罰，但如果題目超出模型能力，導致16次回覆全錯，那模型將得不到任何反饋，這一輪訓練的算力就白白浪費掉了，通俗點說就是差生遇上奧賽題，靠自己刷題提升不了成績。那我們的GHPO就通過動態地給模型一些提示，從而降低這些超綱題目的難度，這極大程度上提升了模型的後訓練效率，也拿到了更好的數學推理結果。

COVE則是通過強化學習算法和一套配套的可驗證環境去提升模型的工具調用能力，比如模型要執行一個幫你訂機票的任務，模型成功調用了API，也拿到了機票信息，但模型是不是真的完成了這件事情，怎麼去驗證它，這還是有一定挑戰的。所以我們構建了一套約束清晰的環境驗證器，比如背後真的構建一套航班機票的數據庫，當模型去訂票之後，我得真的在這個數據庫裡看該次航班可訂票數是不是真的減一了，確認減一，我才能說模型真的完成了這個任務，這條軌跡是正確的。左林右狸頻道：實驗室也在探索世界模型和具身智能嗎？

劉睿：具身智能目前更多還是探索，還沒有形成一條主線，因為業界其實也一直在變，從開始的VLA，到後面的world action model，最近發現GPT-6 Astra做操控其實效果也很好。所以目前可能還是先建立評測基準，測試不同模型的物理控制能力，以及它們還有哪些不足。我們作為終端AI的前沿研究團隊，需要持續探索這些技術，判斷它們未來能否在終端場景中發揮價值。03 基礎模型重構助手價值左林右狸頻道：你們研究圖像生成