終端側AI：從單點應用走向智能體體驗

發言人：高通公司AI產品技術中國區負責人 萬衛星2026年11月7日，上海 終端側AI發展到了什麼階段？終端側AI經過過去3至4年的發展，正在迎來一個比較重要的變化節點。從應用來看，終端側AI並不是從大模型開始的。影像其實是AI較早在終端落地的領域之一。近年來手機拍照效果不斷提升，背後就有終端側AI技術的推動。如今，終端側AI已經進一步拓展到簡單問答、聊天、圖像生成與處理，以及文本處理、語音轉錄、實時翻譯等多模態應用，其中不少功能在端側落地的條件已經比較成熟。不過，目前很多端側AI應用仍然偏向單點功能。例如自動語音識別（ASR）、文本摘要、圖片處理、簡單聊天機器人等，大多解決的是一個具體任務。

如果未來希望終端能夠進一步完成意圖理解、任務編排、實時操作目標App等系統級、規劃類任務，就需要更強的端側模型能力。這意味著，終端側AI正在逐漸從解決一個個具體任務，向更加複雜的智能體體驗演進。為什麼需要終端側AI？端側和雲端是什麼關係？高通並不強調端側的唯一性，而是強調端雲協同或者“計算連續體”，其中一個重要思路是“端側優先”（on-device first）。傳統依賴雲端的AI服務，每一次推理都需要消耗雲端Token、GPU以及雲端調度資源，同時依賴網絡連接。如果將合適的AI能力部署到端側，則可以減少對網絡的依賴，提供更加及時和穩定的響應，同時發揮終端在安全、隱私和個性化方面的優勢。

如果用一個比較直觀的比喻來理解：雲端更像一個“通用知識庫”，端側則擁有更多屬於用戶個人的“專業化知識”。端側可以結合用戶是誰、在哪裡、過去做過什麼，以及當前所處的環境，對用戶接下來可能需要的服務作出判斷，這也是“主動式AI服務”的基礎。因此，端側並不是孤立的體系。雲端可以承接需要更強智能和計算能力的任務，端側則能夠發揮實時、穩定、隱私以及個性化等優勢，二者相互協同。為什麼MoE成為終端側AI的重要技術方向？MoE全稱為Mixture of Experts，即混合專家模型。理解MoE，可以先把它和傳統Dense模型進行比較。

以一個30億參數的Dense模型為例，每完成一次推理，30億參數都需要運行一遍，才能得到最終輸出。MoE的工作方式有所不同。它將模型中的參數劃分為多個不同的“專家”模塊，每個專家模塊負責其中一部分，而且可能擅長不同的任務。當模型處理某個具體任務時，只需要調用與這個任務相關的部分專家模塊。比如，一個MoE模型包含20個專家模塊，執行某個任務時，可能只需要調用其中2至3個專家模塊，而不是讓全部20個專家模塊同時運行。一個很直觀的“廚師”比喻：Dense模型就像家裡只有一個廚師，無論想吃什麼菜，都由這個廚師來做。他可能會很多菜系，但每一種都未必最擅長。

MoE則像同時有多位擅長不同菜系的廚師，有的擅長魯菜，有的擅長京菜，有的擅長淮揚菜。當你想吃淮揚菜時，只需要讓擅長淮揚菜的廚師工作，其他廚師可以休息。也就是說，模型雖然擁有很多“專家” 模塊，真正執行一次任務時，只需要讓其中一部分參與計算。這種機制可以減少一次推理需要實際運行的參數量，提高模型運行效率。MoE為什麼對終端側AI尤其重要？MoE在雲端大模型中已經得到應用。隨著端側AI發展，越來越多的端側模型也開始採用MoE方案。這一技術對於終端尤其重要，因為手機、PC等設備受到內存和功耗等條件限制。目前主流做法通常只能在端側運行20億至30億參數規模的模型。

這一規模已經可以很好地完成ASR、文本摘要、圖片處理、簡單聊天等單點任務，但如果希望完成系統級、規劃類的複雜任務，模型的智能能力仍然面臨一定限制。現階段採用20億、30億或40億參數規模的模型，並不是完全無法運行這些複雜任務，但是完成度和準確度仍有提升空間，可能達到60%、70%或80%的水平。藉助MoE，則有機會進一步提升端側模型的智能水平以及複雜任務的完成度和準確度。這也是MoE對於終端側AI的一個重要意義：在終端有限的內存、功耗等條件下，為部署和運行更高智能水平的模型提供新的技術路徑。

隨著相關技術進一步發展，目前現場展示的意圖理解、任務編排、實時操作目標App等能力，未來有望進一步應用到手機、汽車、PC等不同終端。高通在進博會現場的端側MoE智能體演示展示了什麼？MoE模型包含多個專家模塊，因此模型總體體量較大。在端側真正運行起來，除了模型自身的智能水平，還需要解決兩個非常實際的問題：如何根據當前任務，提前預測接下來需要調用哪些專家模塊；預測完成後，如何快速從存儲中調用這些專家模塊，並讓它們及時參與計算。在大模型推理過程中，DDR帶寬往往是一個重要瓶頸。如果能夠提前判斷下一步需要哪些專家模塊，並將這些專家模塊預取到合適的位置，就能夠減少等待時間，提高模型運行效率。

高通在第九屆進博會展出的端側MoE智能體演示，正是圍繞這些問題進行探索，由高通與Infris AI、江波龍、階躍星辰共同合作完成。圍繞端側MoE模型的高效運行，各方從模型、推理、存儲和芯片平臺等不同環節協同優化：階躍星辰重點提升模型的智能能力；Infris AI通過推理方案，對所需專家模塊進行提前預測和預取；江波龍優化專家模塊從通用閃存存儲（UFS）到內存的加載效率，使其能夠更快被激活；高通則圍繞芯片平臺和軟件棧，與合作伙伴共同優化專家模塊路由、專家模塊預測和緩存預測等環節，從而提升MoE模型在端側的整體運行效率。

因此，這一演示展示的不只是一個模型，而是圍繞模型、推理、存儲、芯片平臺進行的系統性優化，也體現了終端側AI從單點技術創新走向產業協同。終端側AI為什麼越來越需要生態協作？隨著AI和大模型發展，高通與產業上下游合作的重點也在發生變化。目標不只是把模型“搬”到終端，而是讓模型在端側運行得更好，並進一步將這些能力集成到手機、PC、眼鏡、汽車等不同終端設備中。

在終端側AI生態中，不同夥伴扮演著不同角色：模型廠商提供“智能”，高通與模型廠商合作，通過模型量化，並結合芯片技術和軟件棧進行優化，讓模型更小、推理更快，推動合作從“模型+芯片”進一步走向“模型for芯片”或“芯片for模型”；終端廠商掌握用戶“入口”，擁有設備、操作系統和智能體能力，同時終端承載著大量個人和個性化數據，需要將芯片能力與模型智能整合起來，轉化為用戶可感知的AI體驗；開發者負責將AI能力帶到更多App和場景，把芯片、模型以及操作系統的能力和權限融入具體應用，並通過豐富的應用生態解決AI應用的“長尾效應”；高通則提供終端AI能力底座，持續增強NPU等AI處理能力，並通過驍龍平臺、全棧AI軟件和開發工具，與模型廠商、終端廠商和開發者協作，推動AI能力在更多終端和應用中落地。

此次進博會的MoE智能體Demo也是這一生態合作模式的具體體現：從模型、推理方案、存儲到芯片平臺，不同夥伴分別解決不同環節的問題，共同推動更復雜的AI能力在終端側運行。