端側智能體不再只缺算力，個人AI還差什麼？

進入AI推理時代，雲端與終端如何協同，已成為決定人工智慧能否大規模落地的關鍵問題。高通（Qualcomm）產品技術專家朱元堃近日在一場公開活動中指出，若完全依賴雲端，AI或許能成為極其強大的生產力工具，卻很難成為一個有溫度、真正理解個人的AI智能體。這段話清楚劃開了生產力工具與個人AI之間的界線。雲端模型擁有龐大算力與豐富的公共知識，可以快速回答問題、生成內容、完成複雜任務，但真正理解用戶的個人AI，還需要知道這個人的身分、所處環境、過去行為以及當下意圖。這些資訊不在雲端，而是存在於離用戶最近的手機、電腦、智慧眼鏡與穿戴式裝置中。 近日，在財新圓桌AI系列「智能體時代終端產業的下一站」活動中，由高通委託、IDC獨立研究的《從AI設備到個人AI：智能體驅動的終端進化與產業重構》白皮書正式發布。IDC將當前產業變化稱為「AI超級大週期」。IDC中國副總裁王吉平在活動中表示，今年手機市場預估下滑約13%，PC市場預估下滑約11%，傳統終端承受壓力的同時，智慧眼鏡、Mini PC、錄音卡等新型終端反而呈現成長。他進一步指出，終端產業的成長邏輯正在改變。過去所謂的AI for device，是在手機、PC等既有設備上增加圖片處理、文件總結等單點功能，而AI for user則要以智能體為核心，圍繞同一個用戶調度不同終端與算力。王吉平形容，「個人AI是以智能體為核心運作載體、以用戶為中心展開運作的智慧系統。」終端產業也將從單一設備的智慧化，轉向分散式的端、邊、雲協同，競爭維度更從硬體規格進一步擴展到軟硬體與AI服務的一體化能力。 既然越來越多終端已擁有數十TOPS的算力，真正的個人AI為何仍未出現？產業必須跨過三道坎：從「能算」到「懂你」，從「跑起來」到「一直在線」，再從設備互聯走向智能體圍繞用戶自由流轉。 過去幾年，產業談到終端AI時，通常指的是在手機或PC上運行一個本地模型，能完成圖片處理、文本總結或文件生成，但這僅是AI for device，並非真正的個人AI。個人AI的核心差異在於「上下文」。朱元堃指出，完整的智能體體驗包含感知、記憶、推理與工具執行四個部分。終端透過攝影機、麥克風與各類感測器感知周圍環境，將長期資訊沉澱為個人記憶，再基於當下情境理解用戶意圖，最終調用應用、設備或雲端服務完成任務。感知與記憶，正是雲端最難獨立完成的兩個環節。雲端雖可擁有比終端更大的模型，卻無法天然取得最即時、最連續的個人資訊。完全依賴雲端的AI能成為強大的通用工具，卻難以形成對某一個人的長期理解。 因此，終端AI並非雲端AI的縮小版。雲端面對大量用戶提交的複雜計算任務，終端則主要服務單一用戶；雲端擅長調用大模型與公共知識，終端負責即時感知、個人記憶與隱私資料。兩者不是相互取代，而是根據任務、成本、延遲與隱私要求動態分工。朱元堃強調，「用戶最終在意的並不一定是絕對最快的答案，而是最符合自己需求的答案；即使回應時間稍長，用戶也願意等，因為它真正懂我。」這也是「有溫度」背後的技術含義：AI不只是給出正確答案，還要結合個人歷史與當前情境，產出適合這個用戶的答案。 但要讓終端持續理解用戶，僅有高算力並不足夠。TOPS曾是終端AI晶片最醒目的標籤，隨著NPU算力不斷提高，單一峰值指標越來越難解釋真實體驗。終端AI是否應繼續以TOPS為主要判斷依據？朱元堃表示，「算力依然是晶片選型的重要參考，但算力是基礎，不是唯一標準。」高通更關注AI Benchmark的綜合表現，包括首字時間、解碼速度、記憶體佔用與模型精度。只有硬體算力，沒有軟體、記憶體與系統協同，峰值TOPS很難轉化為穩定的用戶體驗。 更深層的變化在於，終端智能體面對的工作負載與雲端截然不同。雲端推理通常從接收明確任務開始，持續執行到任務完成；個人智能體則大部分時間處於感知狀態，推理佔比次之，真正執行複雜任務的時間更少。它需要長期在線，卻不能讓攝影機、麥克風與模型持續喚醒CPU與系統記憶體，這使低功耗感知成為終端智能體的第一道工程難題。高通驍龍行動平台的感測器中樞（Sensing Hub）正是為應對數十毫安、甚至個位數毫安的應用場景而設計，從架構上專注於超長續航力與超低能耗，以完成用戶場景的有效感知與識別。感測器中樞以Micro NPU、始終感知ISP、DSP與獨立記憶體處理低功耗感知；CPU負責系統調度；Hexagon NPU承擔主要AI推理；數據機則在需要時調用邊緣與雲端能力。這套異構架構的目標不是讓所有計算單元同時達到最高性能，而是根據不同負載，將任務放在能效最合適的單元上。 即便如此，終端最先遭遇的仍是記憶體牆。朱元堃向媒體直言：「終端智能體的主要問題其實還是記憶體和續航力的限制，而非性能的限制。」模型參數、個人記憶與上下文都需要佔用記憶體，終端又受物理尺寸與成本限制；此外，終端模型在解碼階段需反覆讀取權重，記憶體頻寬直接影響詞元生成速度。高通正在探索3D記憶體堆疊等技術路徑。即便不考慮全新的記憶體架構，從LPDDR5X升級到LPDDR6，理論記憶體頻寬也可提升約50%。這意味當終端NPU算力持續成長，記憶體頻寬能否同步提升，將越來越直接地決定算力利用率。另外，雲端透過預填充與解碼分離（PD分離）來提高集群資源利用率，但這種方法無法直接套用於終端。朱元堃指出，終端預填充通常完成較快，解碼階段更容易受記憶體頻寬限制，雲端的資源調度方法不能被原樣照搬。峰值算力決定智能體能做什麼，記憶體與功耗則決定它能否每天持續工作。 如果個人AI只有單一設備，它對用戶的理解依然是片面的。手機知道用戶的位置與通訊習慣，PC記錄工作流程，眼鏡看到用戶眼前的畫面，耳機與手錶掌握聲音、運動與健康資訊。設備越多，智能體能獲得的上下文就越完整。這也是高通提出「所有設備都將成為智能體端點」的原因。基於統一的底層技術架構與AI軟體棧，模型與應用可以在手機、PC、汽車、眼鏡等不同終端之間遷移，再根據各設備的性能、功耗、記憶體與延遲做出取捨。王吉平指出，高通的一大優勢在於支援大量終端設備，不僅是手機，還包括智慧眼鏡、物聯網設備等，廣泛的終端設備基礎正是未來邊緣側發展的核心。與蘋果、谷歌透過作業系統與模型建構垂直生態不同，高通走的是橫向平台路線，從Oryon CPU、Adreno GPU、Hexagon NPU與感測器中樞，到連接能力與統一AI軟體棧，為不同品牌、不同型態的終端提供共同的運算底座。 然而，跨終端的硬體連接並非最難的一步。朱元堃坦言：「跨設備協同本質上並不是一個技術問題，而是一個產業協同與生態共建的問題。」通訊產業有3GPP統一標準，不同廠商可按共同標準研發；AI產業仍處於探索階段，跨品牌、跨作業系統與跨模型的協同規則尚未形成。海外市場中，谷歌同時掌握Gemini與Android，蘋果也能在自己的軟硬體生態內推動AI能力；國內市場則有不同手機品牌、作業系統與模型供應商，背後是更加複雜的利益關係。個人AI強調以用戶為中心，今天的終端生態卻仍以廠商帳號、作業系統與品牌邊界為中心。誰擁有用戶的長期記憶？誰決定哪些上下文可以在不同設備之間流轉？用戶更換手機品牌後，個人智能體能否繼續認識他？模型廠商、OEM、作業系統與晶片平台，誰會掌握個人AI最重要的入口？這些問題遠比連接協議更難回答。 「有溫度」也存在另一面。個人AI越想理解用戶，就越需要持續感知攝影機、麥克風、位置與行為資訊，而這些恰好也是最敏感的個人資料。王吉平直言：「從用戶買單的角度來看，交互能力是最關鍵的，也就是全感知的交互體驗，這是用戶當下最迫切的需求。而最大的短板，我認為是安全問題。」全時感知既是個人AI有別於傳統AI應用的核心價值，也是產業必須跨過的信任門檻。終端計算能夠減少敏感資料上傳雲端，卻不等於自動解決了隱私問題。如果用戶無法控制設備記住什麼、調用什麼以及向誰共享，持續感知就可能從個人化能力變成新的風險來源。 晶片算力讓個人AI具備了運行的可能，低功耗感知、記憶體與軟體協同決定它能否持續工作，跨設備生態與資料權利則決定它最終屬於廠商還是屬於用戶。真正的個人AI，不是知道用戶越多越好，而是用戶能夠決定它知道什麼、記住什麼，以及把什麼交給雲端。端側智能體距離真正普及，顯然還有不止一道坎要跨。