Bonsai 27B模型實現手機端側運行

PrismML 正式發表 Bonsai 27B 人工智慧模型，這款擁有 270 億參數的語言模型經過獨家壓縮技術處理後，可以直接在 iPhone 上運行，無需連接雲端。據報導，Apple 已在測試這項技術，可能為自家裝置端的 AI 應用帶來重要突破。 Bonsai 27B 基於阿里巴巴的 Qwen3.6-27B 開源模型開發，由一群加州理工學院研究人員創立的 PrismML 打造。該模型不僅支援多步驟推理，還能進行工具呼叫、影像理解以及複雜的代理任務（agent-based tasks），在手機端實現以往僅能在雲端完成的高階功能。 PrismML 指出，現代 AI 應用越來越需要強大的模型在本地端執行。一個 AI 代理可能在一次任務中連續呼叫數百次模型，每一次都攜帶上下文、產生結構化輸出，並饋入下一步驟。若在雲端運行，每次呼叫都會產生 token 費用、網路延遲，且過程中產生的中間結果、工具呼叫內容，以及螢幕畫面或文件等隱私資料，都必須離開裝置。而在裝置端運行模型，能將這些循環的邊際成本降至零，同時確保使用者數據留在本地。PrismML 認為這是打造常駐型代理、離線助理與混合系統的基礎。 為了讓這麼大的模型能塞進手機，PrismML 採用了激進的權重壓縮技術。原本 Bonsai 27B 的模型大小約需 54 GB 儲存空間，即使經過標準壓縮也還需要約 18 GB。PrismML 提供兩個更小的版本：注重品質的版本約 5.9 GB，適合筆記型電腦；更小的版本則僅約 3.9 GB，足以放進 iPhone 17 Pro Max 的有限儲存空間。PrismML 解釋，iPhone 雖然配備 12 GB RAM，但單一應用程式實際上只能使用約 6 GB，必須同時分配給模型與快取。 壓縮的關鍵在於將每個神經網路權重從傳統的 16 位元大幅縮減至 1 位元或不到 2 位元。在最激進的變體中，每個權重只有兩種狀態；在稍微大一些的版本中，則有三種狀態。PrismML 將此方法應用於整個語言模型。他們也指出，市面上的標示經常混淆，例如白皮書中比較的 Qwen3.6-27B-IQ2_XXS 版本，雖然標榜「2 位元」，但實際每個權重平均用到 2.8 位元。而 Bonsai 的 1 位元變體在智慧密度（intelligence density）上達到每 GB 0.530，遠超過三元（ternary）與 FP16 模型。 儘管壓縮幅度巨大，PrismML 表示對模型品質的影響有限。在內部 15 項基準測試中，較大的版本保留了原始模型 95% 的表現，較小的版本則保留了 90%。數學與編碼能力「幾乎不受影響」。表現下滑較明顯的是在更激進的壓縮版本中，尤其是影像理解、指令跟隨以及代理工具使用等任務。值得注意的是，傳統壓縮後的 Qwen3.6-27B 模型（9.4 GB）得分為 72.7 分，而僅 3.9 GB 的較小 Bonsai 變體反而拿下 76.1 分，顯示其壓縮技術在特定規模下甚至能帶來更好的效率。 在實際裝置表現上，根據白皮書數據，較小的 Bonsai 變體在 iPhone 17 Pro Max 上每秒約可生成 11 個 token。電池測試結果顯示，每 1% 電量約可生成 672 個 token，換算滿電狀態下可產生約 67,000 個 token。不過，晶片在持續運行約五分鐘後會因溫度而略微降頻。 這項技術也引起 Apple 的注意。根據 CNBC 報導，PrismML 已與 Apple 就 Bonsai 背後的壓縮技術展開洽談。PrismML 執行長 Babak Hassibi 證實，Apple 及其他公司正在測試這些模型的速度、功耗與效能。他形容對話仍「非常初期」，但「事情進展順利」。對 Apple 而言，這項技術可能補足其在本地 AI 上的差距。Apple 在 WWDC 2026 發表的全新 Siri 雖然採用與 Google 合作開發的基礎模型，且使用 Gemini 技術，但最強的裝置端模型仍需要至少 12 GB RAM 的 iPhone 才能運行，複雜查詢則須送至 Apple 雲端中的 Nvidia GPU 處理。若成功導入 Bonsai 的壓縮方案，Apple 有望在不犧牲效能的前提下，讓更多裝置擁有高階本地 AI 能力。 Bonsai 27B 的模型權重已採用 Apache 2.0 授權開源，可透過 Apple 的 MLX 框架在蘋果裝置上運行，也支援 Nvidia GPU。PrismML 同時提供限時的免費開發者預覽 API 以及 HuggingFace 上的即時展示。該公司由 Khosla Ventures、Cerberus 與 Google 投資成立，Samsung 也持續提供支援。PrismML 計劃下一步將壓縮技術應用於 Google 的 Gemma 系列模型，該系列較小的版本已能在智慧型手機上運行。 隨著 Bonsai 27B 的問世，PrismML 展示了一條通往高效能裝置端 AI 的實際路徑，不僅讓大型語言模型真正離開雲端，也為開發者與硬體廠商提供了嶄新的可能性。