淘寶MNN 團隊開源 MNN-Pocket-0.3B，iPhone 18 Pro 離線解碼飆升至 350 token/s

AI資訊AI新閒資訊正文淘寶MNN 團隊開源 MNN-Pocket-0.3B，iPhone 18 Pro 離線解碼飆升至 350 token/s發布於AI新閒資訊時間 :Nov 6, 2026閱讀 :1分鐘人工智能端側部署領域迎來重磅進展。淘寶旗下 MNN 團隊正式宣佈開源面向手機應用的輕量化大語言模型 —— MNN-Pocket-0.3B。該模型擁有約3億參數，專為手機等移動設備的資源預算與任務需求量身打造，在極低的內存佔用和能耗下，實現了媲美雲端的高速響應與出色的綜合任務能力。

極致輕量化設計:體積縮減近半，峰值內存穩控在300MB 以內為了讓大模型在移動設備上真正做到“無感運行”，淘寶 MNN 團隊將“手機應用原生大模型”細化為四大核心設計指標:解碼吞吐超200token/s、峰值內存低於300MB、單次推理能耗極低以及具備強悍的指令遵循與多任務擴展能力。在實際性能表現上，該模型交出了亮眼的成績單:驚人的離線速度: 在蘋果 iPhone18Pro 真機測試中，通過 MNN 推理引擎完全離線運行，平均解碼速度達到了約350token/s。

而在 iPad Pro M5的 Metal 後端測試中，Prefill 吞吐更是高達8，721token/s，Decode 吞吐達到466token/s，約為同條件下 Qwen3-0.6B 的1.63倍。極小的體積與內存佔用: 模型的 INT4MNN 部署文件體積僅為173MB。在 iPad Pro M5測試配置下，其峰值內存增量僅為228MB。相比之下，同測試中的 Qwen3-0.6B 部署體積達340MB、峰值內存增量427MB，MNN-Pocket-0.3B 的部署體積縮減了約49%，內存增量減少約47%，為手機系統的圖片、視頻及其他業務模塊保留了充足空間。

超低功耗表現: 團隊在一加13（驍龍8至尊版）上對4-bit 模型進行了功耗測試。在基準負載下，執行100次同等負載任務累計增量能耗僅佔手機電池總電量的0.3% 左右，徹底打消了用戶對端側 AI 耗電發熱的顧慮。精簡高效的詞表架構: 為了更好適配中文互聯網環境，團隊將詞表從約151K 精簡至64K，縮減幅度達57%，有效降低了詞嵌入與輸出層的參數開銷。綜合能力越級挑戰:多項評測登頂同規模模型之首在實際任務表現與學術基準評測中，MNN-Pocket-0.3B 展現出了遠超其參數體量的爆發力。評測數據顯示，該模型的英文 IFEval 得分達到73.

20，自建的中文指令遵循 IFEval-zh 得分高達74.59，在同類對比模型中均名列前茅。在涵蓋中英文知識、推理、數學、代碼及指令遵循的11項綜合評測中，其平均得分達到50.00，全面超越了 MiniCPM4-0.5B、Qwen3-0.6B 等更大規模的同類模型。其中，中文數學 MGSM-zh 得分51.20，代碼生成 HumanEval 得分達到53.66。全版本全開源矩陣:賦能研究者與開發者生態為了讓技術成果能夠快速轉化為真實的業務生產力，MNN 團隊從預訓練、後訓練到端側部署全流程開源了多個版本，滿足不同場景的深度適配需求:MNN-Pocket-0.

3B-Base: 專為繼續預訓練、領域適配與基礎能力研究打造。MNN-Pocket-0.3B-SFT: 面向後訓練研究、強化學習、蒸餾與消融實驗。MNN-Pocket-0.3B: 適用於通用指令調用與各類業務任務的深度適配。MNN-Pocket-0.3B-MNN: 採用 W4A16QAT 的端側專屬部署版本，配合 MNN 推理引擎的低比特算子與硬件後端優化，在特定設備上解碼吞吐可拉滿至466token/s。MNN-Pocket-0.3B-DFlash2: 針對 DFlash2投機解碼草稿模型設計，配合塊級生成與驗證實現，特定任務下的解碼吞吐可達常規自迴歸解碼的2.06倍。

MNN-Pocket-0.3B-Dec: 通過決策頭精準完成候選選擇類任務。相關推薦張朝陽首度直面錯失移動互聯網：大模型需要拼資源我們做不起，別被 AI 盲目帶跑在2026世界互聯網大會烏鎮峰會上，張朝陽罕見坦誠，承認搜狐當年錯過移動互聯網。面對全行業狂熱追逐AI大模型，他解釋搜狐保持冷靜：錯失移動互聯網導致資源受限，大模型賽道拼資源，搜狐“做不起”，因此AI投資不激進。文章聚焦其反思及搜狐在AI浪潮中的現實考量。Nov 6, 2026125.4k谷歌重磅發佈 Omni 1.

2 Flash：視頻生成上限延長至 15 秒，API 價格大降 30%Google DeepMind發佈多模態視頻生成模型Gemini Omni1.2Flash，在生成時長、畫面一致性、多輪對話修改及API價格上全面升級。核心突破包括：原生視頻生成與編輯片段時長翻倍，上限較上代提升；畫面一致性優化；支持多輪對話式編輯修改。該更新將推動AI視頻生成與編輯能力進一步升級。Nov 6, 202677.6k4.7 萬條假名人內容被清：網信辦給 AI 換臉帶貨踩剎車網信部門通報AI假冒公眾人物集中整治結果：清理違法違規信息4.7萬餘條，處置賬號3961個。

點名四類典型，均指向變現：未經授權仿冒名人肖像聲音或盜用家屬照片帶貨引流；盜肖像配AI特效編造患病等謠言誤導公眾；以第一人稱冒充名人發表觀點、情感話術誘關注；生成名人跳低俗舞蹈、親密互動畫面吸粉。Nov 6, 2026126.4k寫 3 萬行代碼的不是他，是 AI：前谷歌工程師的"閒人"自白王詠剛髮長文《永別了，程序員》，記錄被AI編程“架空”。一位美國計算機老師想改進他六年前開源的Altair 8800模擬器。他將需求交給Claude Opus 5.5，請其從系統設計層面建議。AI不僅完成原任務，還主動提議補上彙編器、調試器和電傳打字機模擬界面。三四天內，程序從幾百行膨脹到3萬多行。

Nov 6, 2026128.2k谷歌發佈 Gemini Omni1.2Flash:單次時長增至15秒，成本降幅達30%谷歌正式發佈全新AI視頻生成模型Gemini Omni1.2Flash，被視為推動AI視頻邁向大規模商業製作的關鍵進展。該模型為前代升級版，在生成時長、場景一致性、多回合對話編輯及API定價上全面優化。單次視頻生成最大時長由10秒提升至15秒，緩解長視頻創作對多步拼接的依賴，並得益於底層效率提升。Nov 6, 2026112.3k智啟未來，您的人工智能解決方案智庫English簡體中文繁體中文にほんご© 2026