面壁智能姚遠：兩年GPT-6級AI跑在手機上，現在點外賣訂機票有點無聊

作者 | 江宇 編輯 | 雲鵬 350億參數的多模態大模型，在僅佔用約3GB內存的情況下，已經能在手機上實現超過30 Token/s的生成速度。11月5日報道，今日，在面壁智能舉行的端側多模態大模型技術交流活動上，面壁智能聯席首席科學家、清華大學人工智能學院助理教授姚遠透露，團隊通過最新一輪推理優化，已將MiniCPM-V 4.7 35B-A3B在手機上的生成速度進一步提升至30 Token/s以上，模型精度損失幾乎可以忽略。一款總參數量達到350億、每次推理僅激活約30億參數的混合專家（MoE）模型，正在接近智能手機上較為流暢的實時交互速度。

此前，面壁智能已於10月13日發佈並開源MiniCPM-V 4.7系列模型，包括35B-A3B和1B兩個版本。面壁智能聯合創始人、首席科學家劉知遠教授在現場提到，把大模型裝進終端並不夠，關鍵是讓用戶真正用起來。他認為，至少達到30 Token/s的生成速度，才能提供足夠流暢的使用體驗。在隨後的分享中，姚遠及面壁智能多模態實驗室核心成員余天予、蔡天馳，分別從端側智能的發展趨勢、模型能力密度和底層推理優化三個方面，介紹了團隊的最新研究進展。

其中，作為分享重點的前瞻專家調度（Lookahead Expert Scheduling，LES）技術，可以提前預測模型下一層需要調用哪些專家模塊，在計算的同時從手機閃存讀取權重，大幅減少模型推理過程中的等待時間。根據面壁智能公佈的測試數據，這一方案能夠在保持模型輸出不變的情況下，將端側MoE模型的生成速度提升約5倍。在今天的活動現場，還體驗了搭載MiniCPM-V 4.7的iPhone Duo。現場體驗中，該設備運行模型時的實時解碼速度約為25 Token/s。面壁智能初始版本測試數據顯示，MiniCPM-V 4.

7 35B-A3B在iPhone 17 Pro Max上的生成速度超過13 Token/s，在iPad Pro M4 16GB上超過17 Token/s。而根據姚遠今天披露的信息，團隊最新的優化版本已能夠在手機上達到30 Token/s以上，同時繼續將運行內存佔用控制在約3GB。在隨後的媒體交流中，姚遠還給出了一個大膽預測：按照過去幾代大模型能力向端側遷移的速度，未來兩年內，GPT-6級別的智能能力有望在手機上以約3GB內存實現流暢運行。他認為這一判斷稱是目前行業尚未形成廣泛共識的觀點之一。

談及AI手機的現狀，他認為，真正的AI原生手機需要重新思考交互方式，而端側模型能力、手機系統的權限壁壘以及功耗，仍是實現這一目標需要解決的問題。一、端側智能正在“撞線”，部分能力已超過三年前雲端旗艦模型 姚遠提出了一個判斷端側智能發展階段的新視角：當端側模型能夠提供的智能水平，超過某類用戶需求所要求的最低門檻時，這類任務就具備了從雲端轉移到終端的條件。他將這一過程稱為“撞線”。姚遠將智能需求分為兩類：一類是設計先進芯片、開發大型軟件等近乎沒有能力上限的複雜任務；另一類則是大量日常生活和工作中，能力要求相對穩定、存在明確上限的任務。

對於後一類需求，只要端側模型的能力持續增長，總會有一部分任務達到可以由本地模型完成的水平。他認為，這種變化已經開始發生。從早期的文本續寫、信息抽取，到寫作改寫、圖像和視頻理解，再到初步的工具調用，端側模型能夠覆蓋的任務範圍正在擴大。要推動這一進程，姚遠提出了端側智能發展的“三駕馬車”：模型、硬件和AI基礎設施（Infra）。模型負責提供智能能力，硬件負責提供計算資源，Infra則要讓模型的計算需求與硬件資源儘可能高效地匹配，減少中間損耗。其中，在模型層面，面壁智能此前提出的智能密度定律認為，模型的智能密度大約每3.5個月翻一番。

在硬件層面，芯片性能的持續提升，以及面向Transformer架構優化的NPU，都有望進一步提高端側設備能夠承載的智能水平。而在Infra層面，姚遠展示了MiniCPM-V 4.7在不同優化階段的生成速度變化：在iPhone 17 Pro Max上，採用常規專家讀取方式時，35B模型僅能達到約3 Token/s；引入前瞻專家調度後，提升至約13 Token/s；進一步利用新一代手機硬件，生成速度提升至約20 Token/s。最近幾天，團隊又完成了新一輪優化，將生成速度提高到30 Token/s以上，內存佔用仍維持在約3GB。他認為，MiniCPM-V 4.

7 35B-A3B的多模態智能水平，至少已經超過2023年的雲端旗艦模型GPT-4V。三年前需要依賴大型雲端計算資源才能提供的部分多模態能力，如今已可以在手機上本地運行。除此以外，姚遠還提出了“等智能線”的概念：以某一代雲端旗艦模型的能力為標準，觀察達到相近能力所需的模型參數規模如何隨時間下降，再與端側設備能夠承載的模型規模進行比較。當兩條曲線相交時，就意味著相應水平的智能能力可以在端側實現。按照姚遠的判斷，如果以GPT-4V或GPT-4o等歷史模型的能力作為參照，端側智能已經在一定程度上實現了跨越；如果以更強的新一代前沿模型作為標準，端側仍有距離。

他認為，不能通過不斷提高智能能力的評價標準，否認端側模型已經跨過的一些重要門檻。二、350億參數模型，如何逼近手機算力極限？面壁智能多模態實驗室核心成員余天予，將團隊提高模型智能密度的技術路線概括為三個問題：如何用更少的計算看清世界、如何用更少的步驟解決問題，以及如何以更低的成本讓模型學會新任務。首先是多模態模型處理視覺信息時面臨的計算開銷。一張高清圖片可能需要數千個視覺Token才能完成編碼。如果模型需要連續理解數分鐘甚至數小時的視頻，大量視覺Token將迅速佔據上下文空間，同時增加計算成本。因此，面壁智能在歷代MiniCPM-V模型中，持續提高視覺信息的壓縮效率。

余天予回顧了這一技術路線的變化：MiniCPM-V 2.5通過圖像切分提高視覺編碼效率；後續版本引入時空聯合壓縮，通過識別相鄰視頻幀之間的共同信息，減少重複計算。到了MiniCPM-V 4.5，相關技術已經能夠實現最高96倍的視覺壓縮。而在MiniCPM-V 4.7中，團隊進一步引入LLaVA-UHD v4，在視覺編碼器內部提前壓縮視覺Token，將壓縮環節前移，進一步減少約一半的相關計算量。目前，MiniCPM-V 4.7支持4倍和16倍兩種視覺Token壓縮模式。前者保留更多圖像細節，適合文檔解析等任務；後者優先降低計算開銷，更適合實時交互。

根據此前公開的模型測試，即使採用16倍壓縮模式，MiniCPM-V 4.7在MMBench、OCRBench等基準測試中，仍能保持較高的準確率。除了讓模型更高效地處理視覺信息，余天予還介紹了團隊在後訓練方面的多項技術積累。其中一項工作是改善視覺模型的幻覺問題。傳統的訓練方法通常讓模型生成多個答案，再由人類對答案質量進行評分。余天予認為，這種方式傳遞給模型的反饋信息相對有限。面壁智能此前提出的RLHF-V方法，嘗試將簡單評分轉變為直接糾錯。與其只告訴模型哪個答案更好，不如指出具體錯誤，並提供更合適的答案。

此後，團隊又通過RLAIF-V等方法，將部分人工反饋替換為AI反饋，把複雜的視覺理解問題拆解為多個更容易判斷的小問題，再綜合形成評價結果，以降低反饋數據的獲取成本。最新分享中，余天予進一步介紹了基於概率獎勵的強化學習方法RLPR。這種方法希望減少不同任務對專門設計的驗證器的依賴，讓模型能夠根據最終正確結果提供的信息，獲得訓練獎勵，並通過自主探索改進解決問題的方式。另一個重要方向，是讓模型能夠在學習新任務的同時，保留原有的通用能力。余天予介紹，傳統監督微調可能出現災難性遺忘：模型在特定任務上的表現提高了，原本具備的識別、推理或指令遵循能力卻有所下降。

為此，團隊提出了自回放微調（Self-Replay Fine-Tuning）方法。具體來說，先由原始模型生成一批高質量的通用任務回答，再將這些數據與新任務訓練數據混合，讓模型在學習新能力時，也能複習原本已經掌握的知識。根據余天予介紹，團隊在多種開源模型上的實驗顯示，這種方法能夠將微調導致的能力遺忘減少80%至99%，同時基本保持新任務上的訓練效果。該方法無需改變模型結構和損失函數，也不需要在每次訓練中重新生成大量回放數據，因此能夠接近普通監督微調的使用成本。在任務演示中，余天予展示了MiniCPM-V 4.7 35B-A3B在iPhone上離線完成家庭用電分析的過程。

模型可以根據用戶提供的家電信息、用電預算和歷史賬單，分析哪些家電消耗了最多電量、賬單中是否存在遺漏，並提出不同的節電方案。余天予認為，端側模型未來還有一個值得探索的方向：讓模型在用戶自己的設備上持續學習，在保持隱私和本地計算優勢的同時，逐漸適應個人的長期使用習慣。三、80%的“專家”提前猜中！揭秘手機運行35B模型的關鍵技術 面壁智能多模態實驗室核心成員蔡天馳重點拆解了前瞻專家調度技術LES。這項技術要解決的是：手機內存裝不下整個350億參數模型，但手機的閃存空間又足以儲存這些模型權重。以MiniCPM-V 4.7 35B-A3B為例，模型完整權重約65.6GiB。

即使採用更低精度的量化方案，權重規模仍然可能超過普通手機能夠提供的運行內存。但是，MoE模型有一個重要特點：它雖然擁有大量參數，每次生成Token時，實際只需要激活部分專家模塊。模型可以將大部分權重保存在閃存中，需要使用時再加載進來。問題在於，這種方案會導致頻繁的數據讀取。蔡天馳稱，MiniCPM-V 4.7 35B-A3B具有40層計算結構。如果每一層都要先確定需要的專家，再從閃存讀取對應權重，就會不斷產生等待。以iPhone 17 Pro Max為例，如果不考慮額外的數據讀取和系統調度開銷，模型每生成一個Token的純計算時間約為50毫秒，對應約20 Token/s的理論計算速度。

但在常規閃存讀取方案下，數據搬運等環節可能再增加約250毫秒，使實際生成速度下降至每秒2至3個Token。LES的關鍵，就是把原本串行的“確定專家—讀取權重—執行計算”，儘可能轉變為並行過程。具體來說，系統會利用Transformer模型相鄰層之間的殘差連接特性，在當前層執行計算時，提前預測下一層需要調用的專家，並同步將對應權重從閃存加載至內存。這樣，當計算進入下一層時，大部分所需專家已經準備完畢，原本花在等待閃存讀取上的時間就可以被計算過程覆蓋。但這種方法還有一個重要問題：提前預測的專家不一定完全正確。

蔡天馳提到，在模型的一層包含256個候選專家、實際需要激活8個專家的情況下，如果提前預測8個專家，命中率約為80%。也就是說，8個需要使用的專家中，通常可以提前預測出6至7個。如果將預測範圍擴大到16個，命中率可以進一步提高至約96%，但額外讀取更多專家也會增加開銷。因此，LES需要在預測命中率和讀取成本之間尋找平衡。對於沒有提前預測到的專家，系統會在計算時繼續加載，並優先計算已經準備就緒的專家，讓剩餘權重的讀取與計算同步進行。除此以外，預測結果不會直接改變模型最終使用哪些專家。模型仍然按照原有路由機制選擇實際需要的專家，預測隻影響讀取和計算順序。

因此，前瞻專家調度本身不會改變模型最終的輸出結果。除了提前預測，團隊還在模型權重的存儲和讀取方式上進行了優化。傳統的專家權重可能分散保存在不同位置，一次調用需要執行多次讀取操作。面壁智能重新組織了專家權重的存儲佈局，讓同一專家所需的數據儘可能連續排列，以提高閃存讀取效率。同時，團隊還使用逐層混合精度量化，減少權重體積和數據傳輸量，並引入DSpark投機解碼等技術，讓主模型一次計算能夠驗證多個候選Token，進一步提高生成效率。根據面壁智能此前公佈的數據，在iPad Pro M4 16GB設備上，LES能夠使MiniCPM-V 4.7 35B-A3B的生成速度平均提升約5倍。

五、面壁科學家回應：兩年內GPT-6級能力上手機，AI手機仍缺乏想象力 在隨後的媒體交流中，姚遠等科學家進一步談到了端側智能未來兩年的發展、AI手機的應用瓶頸，以及模型商業化等問題。以下為整理的關鍵問答： Q1：未來兩到三年，端側模型的能力上限可能達到什麼水平？A：從過去幾代旗艦模型的演進來看，雲端旗艦模型的能力，通常能夠在大約兩年內遷移到端側。按照這一趨勢，未來兩年內，GPT-6級別的智能能力有望在手機上以約3GB內存、較快的生成速度實現。這並不意味著，直接將現有GPT-6模型完整部署到手機，而是未來的端側模型能夠達到與其相近的智能水平。

姚遠坦言，這也是目前團隊一個比較挑戰行業想象力、尚未形成廣泛共識的判斷。他認為，端側AI能力的持續提升，可能讓更多原本只能依賴雲端完成的複雜任務轉移到手機本地。Q2：如何看待當前市場上的AI手機和AI原生手機？A：姚遠認為，現階段AI手機面臨兩個主要障礙。首先是模型能力仍然有限，尚不足以完成更多複雜任務。其次是手機生態中的權限和數據壁壘，不同廠商對應用數據和操作權限的限制，會影響智能體跨應用執行任務。他以此前豆包手機遇到的應用權限限制為例，認為手機生態本身也需要發生變化。但在他看來，當前AI手機還有一個問題：行業對AI原生手機的想象力仍然不足。

“包括其實一些典型的應用，說實話也有點無聊，就點外賣，訂飛機票等等，這種其實大家展示都是這些。” 姚遠認為，真正的AI原生手機，應該從用戶理想中的使用體驗出發，重新思考AI能夠帶來的交互方式。面壁智能方面也提到，未來可能不再需要專門強調“AI手機”這一概念，因為AI能力可能像今天的觸屏一樣，成為手機的基礎功能。屆時，手機的硬件形態和交互方式也可能發生變化。Q3：手機廠商正在自研端側模型，面壁這樣的第三方廠商如何與其競爭？A：姚遠提到，手機廠商可以圍繞自身硬件進行深度定製，但第三方模型廠商的優勢在於能夠面向不同芯片、操作系統和推理框架進行廣泛適配，並依靠開源社區形成生態。

他還分享了一組面壁智能內部測試結果。據其介紹，團隊曾對Apple Intelligence的本地模型進行測試。在約10項基準測試中，蘋果端側模型的綜合得分約為54至55分，與MiniCPM-V 4.7 1B的水平大致相近，而MiniCPM-V 4.7 35B-A3B在團隊測試中的得分接近90分。此外，面壁智能的模型和Infra由團隊自主研發，硬件則依靠生態夥伴。其也不會將模型限定在某一家手機或芯片廠商的平臺上。Q4：目前的演示主要集中在旗艦手機上，普通用戶什麼時候能在千元機上使用端側模型？A：蔡天馳稱，1B和35B-A3B兩個版本承擔著不同的任務。

35B-A3B主要用於突破端側智能的能力上限，1B版本則面向更廣泛的消費級終端。早在上一代MiniCPM-V 4.6時期，1B版本就已經能夠在部分千元機甚至更低價位的設備上運行，生成速度可以達到15 Token/s或更高。在用戶體驗方面，團隊認為，8 Token/s以下容易讓人感到卡頓，而15 Token/s對於一般的文字對話已經比較流暢。因此，隨著模型推理效率繼續提高，未來不同價格手機之間的AI體驗差異有望進一步縮小。Q5：如果端側AI需要持續讀取郵件、日程、照片等信息，能否在當前手機上24小時運行？A：蔡天馳坦言，目前MiniCPM-V 4.

7運行時的功耗接近大型手遊，部分情況下甚至可能更高。按照當前的功耗水平，要讓這一模型全天候持續運行，仍然不現實。不過，團隊認為，隨著模型算子優化、推理引擎改進，以及採用更低功耗的計算芯片，仍有較大的優化空間。蔡天馳預計，通過後續優化，當前這一代模型就有機會將長期運行功耗降低到接近手機聽音樂的水平，但這仍是團隊希望實現的目標，並非現階段已經達到的效果。姚遠還透露，團隊正在開展實時交互全模態模型的相關研究。其設想是，未來個人AI助手能夠持續理解用戶周圍的音視頻信息，在本地掌握個人上下文，並實時提供服務。他將這種理想形態類比為電影《鋼鐵俠》中的AI助手賈維斯。

Q6：當端側模型越來越強，未來還需要雲端AI嗎？哪些信息應該在本地處理？A：姚遠認為，端雲協同仍然是未來的重要方向。對於特別複雜的任務，如果本地模型暫時無法處理，就需要調用雲端模型。但隨著端側模型的智能水平提升，能夠留在本地完成的任務會越來越多。具體到隱私保護，姚遠認為，多模態信息具有數據量大、持續產生和隱私敏感程度高等特點，因此應儘可能優先在本地處理。如果遇到特別複雜的邏輯推理任務，可以先在本地將問題進行抽象和脫敏，再交給雲端模型完成推理，最後由本地模型結合具體的個人場景生成結果。在汽車等場景下，本地計算還具有網絡穩定性優勢。

比如車輛進入隧道或無網絡區域時，涉及車輛交互和控制的功能不能完全依賴雲端連接。Q7：隨著大模型逐漸成熟，行業是否正在從模型算法轉向Infra優化？A：姚遠認為，Infra在大模型發展過程中的重要性確實明顯提升，但這不意味著模型算法創新的重要性正在下降。“很多模型能力邊界上的事情，就是它做不到就是做不到，你把它快一萬倍，它也是輸出0。”他解釋，模型創新決定能否解決一類新的問題，Infra則決定這些能力能否以合理的成本、速度和資源開銷實際運行。例如，模型具備某項能力，但如果推理速度過慢，或者無法部署到手機上，用戶仍然無法真正使用。反過來，如果模型本身不具備相應的能力，單純提高運行速度也無法彌補。

在他看來，模型、硬件和Infra需要相互配合，不能認為其中某一個方向可以長期取代其他方向。姚遠還透露，面壁智能正在探索用AI自動編寫模型計算算子，針對不同模型和硬件生成專門優化的計算實現，以減少傳統人工優化的成本。Q8：當前手機、汽車和機器人廠商最迫切的端側AI需求是什麼？具身智能能否沿用多模態模型的技術路線？A：姚遠認為，現在許多終端廠商更加關注端側模型能否進一步提高能力、運行速度，以及降低功耗。以智能汽車座艙為例，理想中的AI助手需要同時處理車內外音視頻、多個傳感器的信息，以及不同乘客的交互需求。

它可能需要在用戶上車時識別身份、根據個人習慣調整設備，或者判斷車內不同人員之間的對話，並決定何時參與交互。但這些功能能否實現，最終仍取決於端側模型能夠提供的智能水平。對於具身智能，姚遠認為，多模態模型與具身模型在底層存在較強的技術關聯。面壁智能看好的路線是從文本模型、多模態模型，進一步發展到實時全模態和具身智能。不過，他同時認為，當前具身智能還沒有進入通用能力成熟、適合大規模商業化的階段。現階段許多機器人應用仍然依賴針對固定場景訓練的專用模型，泛化能力和長程任務執行能力有限。因此，面壁智能現階段更希望先提高具身基礎模型的通用能力，而不是主要依靠針對固定動作和場景的專用模型推進商業化。

Q9：面壁智能如何平衡開源與商業化？A：姚遠認為，開源是模型廠商接觸潛在商業客戶的重要方式。模型開源後，開發者可以直接下載和測試，部分企業在使用過程中認可模型效果，隨後便會主動聯繫面壁智能，探索商業合作。“其實我們現在很多的客戶都是用了我們開源模型，說很好，所以來和我們接觸的。”他提到，面壁智能仍然會持續開源重要的基礎模型，已經明確簽訂商業合作的特定版本則可能採取不同的方式。開源社區也能幫助公司