將27B模型“塞進”手機，PrismML推動AI進化從規模轉向“智能密度”

人工智慧新創公司 PrismML 近日宣布一項重大技術突破：成功將一個擁有 270 億個參數的大型語言模型（LLM）直接部署到智慧型手機上，讓手機裝置得以在本地端流暢執行過去只能仰賴雲端伺服器運算的龐大模型。這項進展不僅展現了模型壓縮與架構最佳化的極限，更標誌著 AI 產業的發展重心正從一味追求「規模擴張」，轉向對「智慧密度」的深度競爭。 傳統上，參數量達數十億甚至上百億的大型語言模型，必須依賴資料中心內的高效能 GPU 或 TPU 才能運作，終端裝置僅能透過網路連線將資料傳送至雲端，再接收運算結果。這種模式不僅會受到網路延遲與頻寬限制，也讓即時性要求高的應用——例如語音助理、即時翻譯或影像分析——難以在離線或訊號不佳的環境中順暢使用。PrismML 的技術徹底顛覆了這個前提，讓手機晶片承載過去僅限於數據中心的運算負載，同時維持合理的功耗與反應速度。 PrismML 的解決方案並非單純依賴硬體升級，而是從軟體與演算法層面著手。團隊透過模型壓縮技術，有效降低模型儲存體積與運算量；再透過架構最佳化，重新設計模型內部結構，使其更適合手機晶片的運算架構；同時運用量化技術，將模型參數從高精度浮點數轉換為低精度格式，大幅減少記憶體頻寬需求。這三項技術的疊加，讓 270 億參數的模型能夠在手機晶片有限的記憶體與算力限制下，以接近即時的速度執行推論任務。 這項成果背後，反映的是 AI 發展策略的關鍵轉折。過去數年，業界普遍認為模型參數規模越大，模型表現就越強，因此各家公司爭相推出千億甚至兆億參數的模型。然而，隨著模型規模持續成長，訓練與推理的成本急遽攀升，邊際效益卻開始遞減——參數增加帶來的能力提升逐漸趨緩，但能源消耗、硬體需求與部署難度卻呈指數級增長。PrismML 的技術路線正是在此背景下誕生：與其追求更大的模型，不如在有限的硬體資源內最大化模型效能，讓每一單位算力產出更高的智慧價值。 「智慧密度」這個概念因此成為業界熱議焦點。它指的是單位硬體資源所能承載的模型能力，而非單純的參數總數。PrismML 證明，透過精良的壓縮與最佳化，手機端也能擁有接近雲端等級的語言理解與生成能力，這讓邊緣運算真正從口號走向落地。過去邊緣運算常因裝置算力不足而僅能執行輕量級模型，導致應用場景受限；如今，手機就能承載大型語言模型，意味著開發者不再需要將使用者資料傳回雲端，就能在本地端完成複雜的推理任務。 對終端使用者而言，最直接的感受來自於隱私保護與即時回應的提升。由於所有運算都在手機本地進行，個人對話、照片、位置等敏感資訊無需離開裝置，大幅降低資料外洩風險。同時，因為不再依賴網路連線，即時語音助理、離線翻譯、即時影像辨識等應用可以在飛機、地鐵、偏遠山區等無網路環境下順暢運作。這也讓智慧型手機逐漸從單純的通訊工具，轉變為真正具備自主思考能力的個人 AI 助理。 從開發者角度來看，PrismML 的技術降低了大型語言模型在終端部署的門檻。過去，開發者若要將 AI 功能整合到手機 App 中，通常只能使用數百萬到數億參數的小型模型，或必須忍受雲端延遲與頻寬成本。如今，270 億參數的模型可以直接內嵌於應用程式中，讓開發者能夠設計出更個人化、更即時的行動端服務，例如根據使用者本地資料進行個人化推薦、即時翻譯長篇對話、或在不聯網的環境下執行複雜的文件分析。 業界普遍認為，從「規模競賽」轉向「智慧密度」的競技，將是 AI 商業化普及的關鍵下一步。當模型不再需要龐大的雲端基礎設施支撐，終端裝置的普及率與便利性將使 AI 技術更貼近一般消費者。PrismML 的這項進展，不僅挑戰了「大模型必須在雲端執行」的既有認知，也為下一波行動端 AI 應用——包括離線語音助理、即時影像辨識、個人化推薦系統——提供了更高效且具隱私保護的解決方案。 隨著智慧型手機持續演進，晶片效能不斷提升，PrismML 的技術未來還有更大的最佳化空間。可以預見，在不久的將來，更多參數量更大、能力更強的模型將能以智慧密度的形式被壓縮至手機之中，讓 AI 真正成為每個人隨身攜帶、隨時可用的智慧夥伴。而這也將進一步推動整個 AI 產業從「參數軍備競賽」轉向「效率與實用性」的良性競爭，最終加速 AI 技術在消費市場的全面普及。