54GB降到4GB，蘋果接洽PrismML，模型壓縮技術要火？

蘋果近期與初創公司PrismML展開接洽，後者因推出先進的模型壓縮技術而受到關注。根據CNBC報導，蘋果希望透過這次合作評估在iPhone上直接運行更大規模AI模型的可行性。這項技術的核心是將龐大的模型體積大幅縮小，例如原本需要54GB儲存空間的270億參數模型，經過壓縮後竟能降至4GB以下，為端側AI的落地開啟了全新可能性。PrismML是一家專注於模型壓縮的新創公司，脫胎於加州理工學院的研究團隊，背後獲得Khosla Ventures、Cerberus以及Google的支持。公司的研究方向相當明確：在盡量不犧牲模型智慧的前提下，將運算成本與儲存需求降到最低。

他們的做法與BitNet等低比特模型路線類似，透過大幅簡化人工智慧模型內部資訊的儲存方式，將每個權重限制為二值或三值表達，從而顯著降低記憶體需求。傳統大模型的參數通常需要16bit甚至32bit來記錄，而PrismML的1-bit版本只需記錄{-1, +1}兩種狀態，體積壓縮到原版的約十四分之一，再透過特殊的訓練方式來恢復推理性能。基於這項技術，PrismML在7月15日正式推出Bonsai-27B模型。該模型以Qwen3.6-27B為基礎進行微調，保留了完整的上下文能力，卻將體積從約54GB縮減至不足4GB。

這意味著，一款具備12GB記憶體的iPhone就能原生運行這個名義上達270億參數的密集模型。對比之下，Google專為手機和邊緣設備設計的Gemma 4 E4B約為3.65GB，PrismML等於用相近的「佔地面積」塞進了參數規模大上許多的模型。硬體廠商看到這樣的成果，無不感到興奮。當然，性能損失仍不可避免。根據PrismML自己的測試，三值版本的綜合成績大約保留全精度模型的95%，1-bit版本則約90%。在工具調用等Agent相關的項目上，損失會更明顯。社群中也有開發者反映，三值版本在幻覺和Agent循環方面仍存在問題，但優勢在於體積極小，能以5.9GB媲美17.9GB的效果。

無論如何，從物理上完全塞不下到實際體驗能否接受，這樣的進步已經讓端側AI的未來有了更多想像空間。蘋果對這項技術感興趣並不令人意外。目前蘋果自家的端側模型大約只有30億參數，雖然採用了2位量化與緩存共享等手段，但僅能負責即時翻譯、相冊搜尋和郵件摘要等基礎功能，根本不具備Agent相關的執行能力。而Bonsai-27B儘管經過壓縮，仍保留了Qwen3.6-27B的一部分Agent能力，這對蘋果來說意義重大。值得注意的是，7月15日當天，包括蘋果智能、華為小藝、OPPO、小米、vivo在內的七款提供手機端側生成式人工智慧的模型服務，均已在大陸網信部門完成備案，顯示出手機廠商正認真布局端側AI。

端側AI的重要性逐漸浮上檯面。通知摘要、通話整理、相冊搜尋、圖片識別等任務，根本不需要每次連線雲端處理。特別是涉及聊天記錄、照片和文件等私人資訊，能在手機本地解決既安全又能避免隱私外洩風險。然而目前多數手機AI功能仍以雲端為主，斷網後幾乎無法使用。原因很簡單：現有的端側模型在智慧與能力上還遠遠不夠。為了解實際進展，我們可以參考Google AI Edge Gallery中的Gemma 4 E4B。這款模型已經是目前手機端側AI中相當能打的一款，支援文字、圖片、音頻等多模態輸入，且下載後可離線使用。

實測發現，Gemma 4擁有出色的圖片識別能力，雖然對動漫角色辨識不佳，但對於食物、硬體、花卉等常見物體都能正確判讀。音頻功能則較為遜色，語音轉寫的準確度有待提升。在文本處理方面，Gemma 4 E4B能對2500字左右的文章進行總結，耗時雖長但能抓住重點，甚至連邏輯題也能透過長時間思考給出正確答案。然而，一旦任務變得複雜，尤其是涉及長中文、細節判斷或內容創作時，它和線上大模型的差距依然明顯，更不用說Agent調用等高階任務。這也說明，現有的端側模型能力還無法滿足真正的智慧助手需求。蘋果若要突破這個瓶頸，就必須捨棄現有的壓縮方式，想辦法在相同的空間內塞入更大參數量的模型。

PrismML的技術恰好提供了這條路徑，讓端側AI有機會獲得一個不那麼容易犯錯的大腦。過去業界談論大模型，總愛比參數數量，百億只是起步，萬億並不稀奇。但實際運行證明，參數多不等於效率高。研究顯示，在相同算力下，訓練數據充分的70B模型能全面超越欠訓練的280B或530B模型。更重要的是，龐大的參數模型根本無法進入消費級終端。端側模型想在手機常駐，就必須面對記憶體、功耗與散熱的現實限制，提升效率才是關鍵。PrismML的壓縮演算法為硬體廠商指明了一條可行之路，加上千問、百度與蘋果的本地化合作，讓蘋果三年前承諾的「蘋果智能」距離真正落地又近了一步。未來大模型的進步，未必還需要靠參數數字來嚇人。

能在有限的儲存空間裡穩定運作，少犯錯、少發熱，關鍵時刻真正幫上忙，這才是端側AI下一階段最值得投入的方向。模型壓縮技術的熱度，顯然才剛剛開始。