面壁開源手機端35B多模態大模型

iPhone斷網跑35B多模態！國產開源新模型，只佔3G內存 十三 2026-10-14 04:55:15 來源：量子位 面壁開源MiniCPM-V 4.7 金磊 發自 凹非寺 量子位 | 公眾號 QbitAI 什麼？35B的MoE，在手機上也能跑得很絲滑？Yeah~It’s true.我們直接在斷網狀態下，給iPhone 17 Pro Max手機上傳一張數據可視化經典圖——拿破崙遠征俄國失敗的行軍路線圖： 然後我們直接提問： 圖裡記錄的最低氣溫是多少攝氏度，出現在哪一天，換算過程順帶講一下。

可以看到，不到1分鐘的時間，蘋果手機上的模型，就從那條線上找到了零下30度的標註，判斷出日期是1812年12月6日，再按1列氏度等於1.25攝氏度換算，給出了零下37.5攝氏度的答案。而且啊，這個手機上的模型的速度，還能更快。例如同一張路邊停車標誌的照片、同一個停車時間的問題，左邊是沒做優化的35B模型，右邊是優化過後的模型： 可以看到，沒優化的時候，速度每秒大概2個Token；但在優化之後，速度達到了每秒8-12個Token。即便是在斷網狀態下，答案也是唰唰唰地往外蹦。

據瞭解，這個35B模型在iPhone 17 Pro Max上的解碼速度，再僅佔用3G內存的情況下，能做到每秒13個token以上！絲滑，著實是有點絲滑。那麼這個在手機上能跑成這樣的模型，到底是何許AI也？不賣關子，它就是面壁智能和OpenBMB剛剛正式開源的MiniCPM-V 4.7。一共包含兩個大小的版本： 35B-A3B：總參數35B，每次推理只激活3B，也是MiniCPM-V系列的第一個MoE模型。大約只要3G內存就能在iOS、安卓設備上流暢運行。1B：實際參數1.3B，主打極小體積，OCR、數學和視頻理解，放在同尺寸模型裡都屬於第一梯隊。

不過有一說一，跑得快還只是一方面，那麼MiniCPM-V 4.7放到端側大模型的圈子裡，到底是個什麼水平？通用視覺上，35B-A3B的MMBench拿到91.72、MMStar是80.67；理科題方面，MMMU和MathVista分別是80.22和88.00。視頻理解的Video-MME和LongVideoBench也拿到了76.40和68.90。尤其是OmniDocBench v1.6上，35B-A3B拿到94.24分，另外四個模型都在80分上下，領先了12分以上。更值得一提的是視覺壓縮開到16倍之後的表現。MMBench只從91.72降到90.87，OCRBench從91.20降到90.

40，省下來的算力幾乎沒有拿精度去換。除此之外，MiniCPM-V4.7在純文本能力上，中文知識CMMLU拿到90.21，工具調用的τ2-Bench拿到84.65，同樣是表裡最高。據悉，MiniCPM-V4.7是首個能在端側流暢運行、同時不犧牲性能的開源MoE模型。那麼接下來，我們來看它更多的效果。把35B裝進口袋，斷網也能用 先來看一道和我們生活比較貼近的題目。這次給模型輸入的，是一張家庭用電調查表，上面列著空調、冰箱、電熱水壺、電視、洗衣機和待機設備的功率與使用時長，再附上這個月的電費賬單，一共420度電，126塊錢。

這道題的問題一共有三個，它們分別是： 先估算每樣電器一個月用多少電，排個序；再算算這幾樣加起來能解釋賬單的百分之多少，差出來的那部分能不能全算到別的電器頭上；最後在三個省電方案裡挑出最省的那個，分別是空調每天少開1小時、電視每天少看2小時，以及待機設備每天徹底斷電8小時。從結果來看，35B-A3B先把瓦換算成千瓦，再拿功率乘以使用時長，一項一項往下算。空調每月144度，排在第一位；冰箱則按標籤上的年耗電280度，折算成每月約23.33度；後面依次是電熱水壺、電視、待機設備和洗衣機。六樣電器加起來約213.63度，按賬單的電價摺合64.09元，只能解釋賬單的50.9%左右，還差206.37度。

三個方案裡，空調少開1小時最划算，一個月能省24度電，合7.2元。可以看到，即便是在斷網狀態下，面對如此複雜的圖表，35B-A3B依舊是穩穩拿捏住。看完35B，我們再來看看1B這邊的效果；這次給1B的任務，是把一頁論文轉成Markdown： 請將這個圖片轉寫為markdown。不到半分鐘的時間，標題層級、段落和表格都被還原了出來，公式也寫成了LaTeX，渲染之後和原文的排版基本對得上。對經常要把論文截圖、PDF頁面搬進筆記的人來說，這類活兒過去大多要聯網交給雲端模型。現在一個1.3B的小模型，在手機本地就能幹完。當然，除了手機之外，像iPad這樣的端側設備，同樣也是不在話下。

例如剛才我們那個拿破崙遠征圖的題，在iPad M4上跑了一遍，給出的答案依舊是1812年12月6日、零下37.5攝氏度。除了端側之外，我們還用API把MiniCPM-V4.7跑了一遍。第一道題是記賬，我們準備了一張超市小票的樣張，上面有6樣商品，從純牛奶、全麥麵包一直到抽紙，還有會員優惠和優惠券兩筆減免，最後實付78.40元。要求是把它整理成一張中文記賬表，再核對一下小票上的賬算得對不對。從結果來看，35B-A3B先把門店、日期和6樣商品的數量、單價、金額一項項列進表裡，跟原圖逐個對下來，沒有一處讀錯。核對的時候，小票上明明印著商品合計86.40元，它還是把6個金額從頭加了一遍，得出86.

40元，再減去兩筆共8元的優惠，算出78.40元，正好和小票上的實付金額對上。第二道題也和停車有關，不過規則要比我們開頭展示的更復雜一些。我們設定的情況是，週二持居民證，當天還沒在這裡停過車，計劃從14:10停到15:40。然後讓它判斷五件事，包括這次停多久、會不會撞上清掃禁停、有沒有超過限時、要不要交停車費，以及整個計劃合不合規。35B-A3B五個問題全部答對。它算出這次一共停90分鐘，從14:10開始，正好避開了12點到14點的清掃時段，也沒超過2小時的上限；因為持有居民證，停車費可以免掉。

最後的綜合判斷裡，它把每條規則都過了一遍，還注意到當天此前沒停過車，所以“再次進入要隔30分鐘”這條用不上，結論是這個停車計劃符合規定。3G內存怎麼跑動35B的？看完效果，問題也就來了： 一個35B的模型，憑什麼能在12GB內存的手機上跑起來，還跑得不慢？35B-A3B這個MoE模型，雖然總共有35B參數，但生成每個token時真正參與計算的只有3B左右。不過這裡還有個麻煩，那就是每一層該叫哪幾位專家，要等上一層算完才知道。而手機內存又裝不下全部專家，大部分只能放在閃存裡，用到了再讀進來。過去常見的辦法有兩種。

一種是用到哪個專家就讀哪個，大模型倒是能跑，可解碼慢到沒法實時對話；另一種是給整段對話提前固定一小組專家，讀盤次數少了，模型能挑的專家也跟著變少，能力難免打折扣。MiniCPM-V 4.7想要的是兩頭都顧上：速度要夠快，能力也不能輕易掉。放到實際使用中，還得再考慮一步——開發者拿去定製自己的業務，模型學會了新技能，原來的本領也要儘量留住。先看怎麼跑得更快。前瞻專家調度（LES）把專家預取、計算調度和權重存取一起做了優化：什麼時候搬、先算哪個，以及每次搬多少，都有講究。團隊利用了一個特點：模型相鄰兩層的輸入特徵往往高度相似。

因此，當前層還在計算時，就可以把它的路由輸入特徵送進下一層的路由器，提前預測下一層可能用到哪些專家，再由後臺線程把對應權重從閃存讀進內存。等到下一層真正開工，大部分所需專家已經準備好了。團隊測試中，這種方法能提前備好超過 80% 的所需專家，而且無需額外訓練。計算順序也跟著調整：實際路由選中、已經加載到位的專家先算，其餘所需專家同步加載。儘量讓計算和讀盤同時進行，少一點「等數據到了再幹活」。這裡有個關鍵區別：預測只負責提前搬運和安排計算順序，最終每個token使用哪些專家，仍由模型原有的路由機制決定。沒猜中的專家照常加載、照常計算，不會為了提速省掉。另一部分優化發生在權重本身。

通過逐層混合精度量化，團隊在基本保留模型能力的前提下，把專家權重壓得更小，減少每次加載的數據量；再把權重重新組織成連續存儲的佈局，減少零散讀取，讓閃存更高效地順序讀數。一個減少要搬的東西，一個讓搬運更順暢，再配合提前加載和並行計算，共同降低端側的存儲與帶寬壓力。在16GB內存的iPad Pro M4上，前瞻專家調度方案綜合提升了x5倍解碼速度 。此外，團隊還為模型訓練了配套的DSpark草稿模型，並接入llama.cpp等端側推理框架。由草稿模型先提出多個token，再交給主模型批量核驗，進一步加快生成。在16GB內存的M5 Mac測試中，解碼速度平均進一步提升17%。視覺這一側也在省。

MiniCPM-V 4.7沿用了LLaVA-UHD v4的ViT內早期壓縮技術，在視覺編碼器內部就提前合併視覺token，後面的層要算的東西就少了。開發者還能在4倍和16倍壓縮之間切換，前面也提到，開到16倍時分數幾乎沒掉。這幾項技術疊加起來，就是面壁所說的“快上加快”了。跑得快之外，還有一個開發者經常碰到的問題：模型針對業務微調後，新任務做得更好了，原來的通用能力卻退步了。面壁為此推出了自回放微調（Self-Replay Fine-Tuning）。做法很直觀：在微調前，先讓模型回答一批覆蓋原有能力的問題，篩選出高質量回答，再把這些回答混進新任務的訓練數據。

模型一邊學習新技能，一邊複習自己原來會的東西，減少對已有能力的遺忘。這些「複習材料」來自模型自身，更貼近它原有的回答方式。整個方法沿用標準微調流程，無需修改模型結構或損失函數。回放數據只需生成一次，就可以在模型學習不同新的能力或者開展多次訓練時重複使用。相比在線強化學習或者On-Policy Distillation等訓練方法要求模型每次訓練都採樣新的數據，自回放微調讓定製新能力的成本無限接近普通的監督微調（Supervised Fine-tuning），同時保留模型的通用表現。當大模型不再挑手機 說完技術，我們再回到手機行業。2026年，端側AI正在走向大規模裝機。

根據IDC預計，今年中國新一代AI手機出貨量將達到1.47億臺，同比增長31.6%，滲透率首次突破53%。換句話說，每賣出兩臺新手機，就有一臺帶著端側AI。面壁智能CEO李大海也說過，2026年是端側AI規模化落地的元年。不過對手機廠商來說，還有一個很現實的問題，那就是成本。內存一直在漲價，12GB已經成了AI手機的及格線，旗艦普遍標配16GB，部分機型開始往24GB上探。模型想變強，往往就得吃更多內存，而內存越貴，這條路走起來就越費錢。所以，用更少的內存跑更大的模型，對廠商來說就很有吸引力。

iPhone 17 Pro Max的內存是12GB，而35B-A3B大約3G內存就能流暢運行，剩下的空間還能留給其他應用。從更長遠來看，端側AI的競爭重點也在變化。過去大家比的是芯片製程和算力，接下來，模型和推理框架能不能跟硬件配合好，會越來越成為拉開差距的地方。生態方面，MiniCPM-V 4.7支持的平臺也比較多。iOS、安卓和鴻蒙都能部署，發佈當天就完成了瑞芯微、後摩、Intel、AMD和Arm等芯片平臺的適配。推理框架支持SGLang、vLLM、llama.cpp和Ollama，微調可以用SWIFT和LLaMA-Factory，量化版本也給了GGUF、AWQ、GPTQ、FP8等好幾種。

這條路線背後，是面壁和清華提出的密度定律。按這個規律，大模型的能力密度大約每3.5個月翻一番，同樣的能力，需要的參數會越來越少。截至2026年9月，MiniCPM系列的累計下載量已經突破5000萬次。總而言之，把好用的大模型絲滑揣兜裡，現在已經不是難事了。版權所有，未經授權不得以任何形式轉載及使用，違者必究。