卡住端側AI的不是內存

2026 年，端側人工智慧（AI）的落地終於不再是口號，而是真正成為智慧型手機、智慧眼鏡與車載系統的標準配備。今年以來，各大手機廠商在發表新機時，不約而同花費大量篇幅強調同一件事：我們的手機可以不依靠雲端，直接在本地端運行大型語言模型。同樣的場景也出現在智慧眼鏡與汽車座艙中，端側 AI 正從實驗室走向量產，而這背後的核心關鍵，並非記憶體頻寬或容量，而是三條獨立技術曲線的首次交會。 回顧兩年前，若有人宣稱手機能獨立執行大模型，多數人會認為是行銷噱頭。但到了 2026 年，這項功能已成為常態。推動這項轉變的，是模型壓縮技術、晶片運算能力與終端應用場景三條曲線，在同一時間點匯聚，共同突破過去被視為瓶頸的算力與功耗限制。 其中一條關鍵曲線來自學術界。2024 年底，清華大學孫茂松、劉知遠團隊與開源社群 OpenBMB 共同提出「能力密度」概念，用以量化模型每一億個參數中所能承載的「智慧程度」。根據他們的結論，大型語言模型的能力密度大約每 100 天就會翻倍。換句話說，每隔三個多月，就能用一半大小的模型達到與當前最強模型相同的表現。這項發現徹底改變了端側 AI 的發展路徑，因為過去阻礙模型在終端運行的最大障礙，正是模型規模過大、無法塞進手機或邊緣裝置的有限記憶體中。 而這條曲線與晶片產業的「摩爾定律」相互對照，更有意思。摩爾定律指出，在同樣價格下，晶片的運算能力大約每兩年翻一倍。當模型能力密度以每 100 天翻倍的速度成長，而晶片算力以每兩年翻倍的速度進步，兩者之間的差距正在快速縮小。過去，終端裝置的算力遠遠跟不上模型的成長，導致必須依賴雲端。但現在，模型變得越來越小、越來越聰明，而晶片也越來越強，雙方的交界點終於在 2026 年來臨。 除了手機，智慧眼鏡與汽車座艙也開始擁抱端側 AI。例如，新款智慧眼鏡能夠在本地即時分析影像、翻譯語音、甚至提供擴增實境導航，而無需連接雲端。車載系統則能在不依賴網路的情況下，進行語音控制、路徑規劃與駕駛輔助決策，大幅降低延遲，提升安全性。這些場景的共同特點是對即時性與隱私保護有極高要求，而端側 AI 正好能滿足這些需求。 過去，業界常將端側 AI 的瓶頸歸咎於記憶體不足，認為手機 RAM 無法容納大型模型。但隨著能力密度快速提升，模型參數量雖然減少，智慧程度卻不減反增，記憶體問題逐漸不再是主因。真正的挑戰在於如何讓模型在有限的功耗與散熱條件下，穩定運行於終端裝置。這需要晶片架構、模型壓縮技術與軟體優化的三方協作。 從市場現況來看，2026 年推出的旗艦手機，幾乎都標榜「本地大模型」功能。使用者可以離線進行複雜的對話、生成圖片、摘要文件，甚至進行創意寫作，而這些過去只能透過雲端 API 完成。廠商甚至將端側 AI 作為差異化賣點，強調反應速度更快、資料不外洩的優勢。 值得注意的是，這波端側 AI 浪潮並非單一技術突破，而是系統性演進的結果。除了模型能力密度與晶片算力，還有第三條曲線：終端應用場景的成熟。從語音助理到即時翻譯，從影像辨識到個人化推薦，這些功能經過多年發展，已經累積足夠的用戶需求與數據，讓端側 AI 不再只是展示技術，而是真正能解決實際問題。 展望未來，隨著能力密度持續以每 100 天翻倍的速度推進，預計到 2027 年，中階手機也將能輕鬆運行目前頂尖等級的端側模型。而晶片算力的提升若能保持摩爾定律的節奏，兩者之間的差距將進一步縮小，甚至可能出現「模型能力密度超越晶片成長」的現象，屆時端側 AI 的應用範疇將更為廣泛，從穿戴裝置到物聯網感測器，都可能具備本地智慧。 然而，業界也需注意潛在挑戰。例如，模型壓縮雖然能減少參數量，但若過度壓縮，仍可能導致精度下降；而終端裝置的散熱與功耗限制，仍是硬體設計上必須克服的難題。此外，端側 AI 的普及也意味著更多個人資料將留在本地，雖然隱私保護提升，但若裝置被盜或遭惡意軟體入侵，風險依然存在。 總體而言，2026 年標誌著端側 AI 從概念驗證進入大規模商用階段。卡住端側 AI 的從來不是內存，而是模型、晶片與場景三條曲線是否能夠同時到位。如今，這三條曲線已經交會，端側 AI 的未來正加速到來。