後摩智能亮出2D CIM+3D CIM路線！Agent競速賽打響，雙路徑搶佔端邊算力先機

芯東西（公眾號：aichip001） 作者 | 程茜 編輯 | 漠影 芯東西10月16日報道，10月14日，在後摩智能首屆生態合作伙伴大會上，後摩智能官宣以SRAM-CIM為根技術，佈局2D CIM與3D CIM兩條技術路徑，對應更大容量和更大帶寬的需求。這一動作，恰好踩中端邊AI演進的關鍵拐點。如今大模型能力躍遷疊加AI Agent全面爆發，和端邊場景高度契合的個人Agent正迎來爆發期。海外Meta、OpenAI、谷歌紛紛推出個人AI助手，國內騰訊、螞蟻、字節等大廠相繼傳出個人Agent產品內測消息，大廠密集佈局印證了這片市場蘊藏的巨大潛力。

這類個人Agent需要長期記憶、自主執行任務，契合端邊AI本地化、個性化、實時、安全的優勢。在繁榮的產業表象之下，端邊算力博弈加劇，算力、訪存帶寬、功耗成本、場景適配等痛點愈發突出。這些硬件瓶頸無法依靠算法優化抹平，倒逼行業尋找全新的芯片架構思路。在後摩智能聯合創始人、產品副總裁信曉旭看來，全新計算範式正在重塑整個產業鏈，其影響可能比大家想得更巨大、更深遠，誰的技術路徑選得對、誰能提前佈局，誰就有可能成為這個新時代的贏家。如今以存算一體為代表的差異化技術路線，正在重塑端邊AI算力的格局，成為解鎖大模型端邊規模化落地、支撐AI Agent產業爆發的核心關鍵。

而此次後摩智能的雙技術路線，正是這場底層變革關鍵期的一次重要亮相。一、端邊AI走到商業化奇點，芯片廠商何以破局？端邊AI已成為產業發展不可逆的核心方向。本地設備承載模型推理，不必源源不斷把原始數據、對話上下文上傳雲端，不僅能削減Token開銷、壓縮業務成本，更能讓計算貼近本機文件、操作系統與各類本地工具。這一優勢已形成行業共識，疊加模型廠商和芯片廠商的雙向發力，正將端邊AI的性能短板一步步補齊，使其具備承載AI Agent規模化落地的能力。

Anthropic、MiniMax、阿里千問等海內外大廠的新一代輕量級模型能力飛躍，使得端邊可部署模型和雲端旗艦模型之間的差距收窄；芯片則進一步突破硬件能效上限，讓端邊設備可部署的模型更大、推理速度更快。信曉旭透露，以千問大模型為例，Dense模型同智能水平的參數規模17個月被壓縮至1/8，MoE模型則在6個月時間壓縮至1/6；如今端邊芯片可以跑120B模型。模型能力持續變強，芯片則負責讓模型高效跑起來，二者協同掃清了AI Agent本地化運行的底層瓶頸。這之中的算力瓶頸尤為關鍵。Agent的個性化交互、實時響應、本地自主決策等核心訴求，高度依賴端邊本地化算力支撐。

因為Agent的本質是“執行”，而AI的動作發生在設備本地環境，其需要感知當前設備打開了什麼程序、光標位置、本地文件結構。若所有感知與決策都遠遷雲端，延遲、隱私、成本等會打斷行動閉環。信曉旭提到，當我們越來越依賴AI、越來越依賴Agent，我們任何一個人都希望它是可信的、它是可靠的。正如開篇所述，個人Agent的爆發進一步激活了端邊AI的商業化潛力，從芯片、模型到上層應用都在快速迭代，屬於端邊AI廠商的商業化奇點正式來臨。不過需注意的是，端邊的意義不在於替代雲端，而是承接大量本地化高頻任務，讓AI從聯網調用的服務，變成常駐設備的原生智能。

這樣一來，雲端就負責需要長週期規劃、複雜推理、知識庫檢索、模型更新、跨設備協同這類更為複雜任務。端邊AI的爆發對硬件底座提出了新考驗。而芯片廠商最底層的命題就是兩件事：token/$、token/Watt。然而從實際情況來看，當前行業絕大多數單一技術路線很難實現算力、訪存、功耗、成本四大維度的平衡。那到底什麼樣的技術路線，才能承接這一波端邊AI的熱潮？二、面向差異化端邊AI負載，後摩智能雙軌架構實現算力帶寬兩全 芯片技術路線的選擇有雙重考量：一方面要看技術方案自身的能力邊界，另一方面要看其是否能滿足AI應用發展的需求。從技術方案自身來看，大模型推理屬於算力與訪存雙密集場景。

算力負責張量運算，決定計算理論效率；內存容量承載模型權重與KV緩存，會限定可運行的模型規模和最大上下文長度；訪存帶寬是多數推理場景的性能瓶頸，制約權重、KV數據的吞吐速度與token生成速率；功耗與硬件成本，則決定方案能否大規模商業化落地。和訓練不同，推理大多受限於訪存，行業優化手段也圍繞減少數據搬運、降低內存佔用、提升帶寬、壓低單token成本展開。基於這樣的產業需求，後摩智能選定了存算一體作為技術路徑。SRAM存內計算把乘累加運算直接放在SRAM存儲陣列內部完成，模型權重駐留在片上存儲中，不用反覆在存儲與計算單元之間搬運數據，以提升單位功耗下的算力輸出。

根據後摩智能M50的架構對比數據，在AI Core層面，採用SRAM-CIM後，核心面積較傳統實現下降約3/5，功耗降至原來的約1/5。這條路線的適用邊界，與端邊AI負載本身特點關係密切。端邊AI負載有兩大核心類型，算力驅動型場景的核心訴求是超高算力密度、大容量存儲，對極致帶寬無剛需；帶寬驅動型場景則需要極致訪存帶寬和低延遲數據吞吐能力。對照兩類場景的不同要求就能發現，單一架構很難兼顧兩邊。模型參數規模提升後，2D CIM的訪存瓶頸會凸顯；而業界嘗試的3D堆疊方案，又面臨算力面積受限、散熱困難等問題。因此單一芯片架構很難全面兼顧，這正是後摩智能打造兩條互補存算一體路線的出發點。

信曉旭提到，後摩智能新官宣的雙技術路線是圍繞SRAM-CIM這一根技術，和不同封裝技術結合，形成一條基於SRAM-CIM與2D封裝技術的2D CIM路線，可以解決算力和存儲容量要求高場景；另一條是後摩智能三年前啟動的3D CIM路線，將SRAM-CIM與先進封裝相結合，解決算力和高帶寬需求的場景。具體來看，2D CIM的優勢在於原生高算力密度與存儲容量靈活配置能力，適配圖像、視頻生成、MoE等計算需求高、顯存權重容量波動大的AI負載。這類任務單次推理計算量大，2D CIM可以按需求劃分陣列規模，按需分配算力與存儲塊，在並行矩陣乘運算上表現突出。

新一代3D CIM架構能解決稠密模型的痛點，稠密模型推理時，絕大多數權重都需要參與計算，對持續、高吞吐的訪存帶寬要求極高。3D CIM通過堆疊融合把更多權重放在片上，減少片外數據交換，能同時釋放算力、壓低訪存瓶頸。信曉旭稱，與主流3D堆疊不同，後摩智能在先進封裝基礎上引進了計算架構的創新，將底下Logic die升級為SRAM-Based CIM，從而解決計算效率低的問題。放眼長遠，隨著AI產業持續演進，兩條路線的邊界或將逐步消融，有望催生出一體化融合的定製化算力產品。端邊AI的競爭本質，是在嚴苛功耗預算下爭奪訪存帶寬。

後摩智能基於SRAM-CIM計算架構的根技術，延伸出兩條互補技術路線，是其在計算架構、先進封裝等多維度持續突破後，面向端邊AI產業交出的高分答卷。三、軟硬一體吃透端邊AI！後摩智能雙技術路線打響Agent算力攻堅戰 後摩智能的2D CIM、3D CIM雙技術路線並非技術預研方案，而是支撐其已量產芯片與在研主力芯片的底層技術。信曉旭公佈了後摩智能的最新芯片路線圖，其已經基於2D CIM量產了M30、M50，面向未來的首款3D CIM芯片A20現已投產，M50迭代款M6X系列也在持續研發推進中。

A20的特點是高帶寬、低時延，最多支持到16芯全互聯的維度，算力利用率比上一代有50%的提升；M6X芯片的綜合能力可以達到當下M50的3~6倍。後摩智能芯片的性能進階之路，正是建立在前期落地產品的亮眼表現之上。M30、M50已經以性能指標與市場落地成果，完成對2D CIM路線工程化、商業化可行性的實證。M50量產不到一年，就獲得150餘個產品定點，服務客戶超百家，並且客戶案例涵蓋從基礎本地大模型推理，到具備交互能力、可長期自主執行任務的本地AI智能體。例如基於M50打造的聯想AI主機P7，就是專門為智能體打造的邊緣算力設備。

該設備重量僅300克，最高支持運行1220億參數本地大模型，整機算力高達190 TOPS，最大支持128K長上下文處理，在無網環境下能以50 Token每秒的速度完成本地自主推理。該設備更多細節將於10月24日新品發佈會對外公佈。在個人智能體方面，後摩智能還和聊趣智能聯手，推出支持全息交互的個人智算中心ClawHouse X1，讓AI Agent擁有可以自定義的全息數字形象，實現更沉浸式的人機交互。再到海外初創公司Deepshard推出的Truffle 1。這款全本地運行的智能體工作站目標是打造一套長期在線、持續理解用戶、主動承接任務的個人智能系統，把本地端邊AI推向持續自主的智能體階段。

這些過往成果證明其能夠適配複雜多變的端邊AI市場需求，具備長期迭代、滿足市場需求的核心競爭力。大算力、大帶寬的底層硬件是當前端邊AI規模化落地的核心硬件基石，而成熟的軟件生態則是硬件能力釋放的關鍵支撐，二者缺一不可。後摩自研的軟件產品包含基礎軟件棧、生態軟件棧，覆蓋芯片到上層應用，其既可以兼容多代異構硬件，也能適配主流深度學習框架與大模型推理生態，提供全套C++、Python API，助力開發者高效開發並降低部署門檻。

具體來看，其整個AI生態軟件有五部分，底層推理框架部分已完成與所有主流推理框架的適配以及優化；領域開發套件是面向細分特定應用領域提供應用開發套件， ModelZoo覆蓋大語言模型、多模態大模型等的開箱即用模型，中間件工具部分提供Cache複用，以及算力設備運維和管理等，最後是大量應用樣例。這一生態軟件已正式開源。更深層來看，後摩智能大算力、大帶寬雙路線+統一軟件工具鏈的軟硬協同體系，並非單純的產品迭代組合，而是一套面向未來長期演進、可持續擴容的底層產品佈局框架。

硬件層面形成精準互補的差異化算力矩陣，讓後摩智能可同時覆蓋算力優先和帶寬優先的全維度端邊負載，為後續高中低全線產品迭代、場景細分提供硬件支撐。軟硬協同的高效佈局構建了可長期複用的技術棧。對客戶而言，統一軟件平臺有助於複用模型適配、編譯優化和部署經驗，減少不同芯片及終端產品之間的重複開發成本。基於已經驗證的技術底座與落地實踐，後摩智能也對Agent時代的算力發展有著清晰判斷。後摩智能創始人、CEO吳強強調，在Agent時代，後摩想做端側免費Token工廠的算力底座，希望用最低的能耗產生最強的智能，把端側Token的邊際成本無限趨近於0。

▲後摩智能創始人、CEO吳強 其諸多成果證明，後摩智能的佈局已經為AI企業打開端邊AI創新應用邊界，為AI Agent商業化落地開闢全新賽道。結語：端邊AI革命，比拼的是全棧落地能力 AI Agent掀起的這場端邊革命，考驗的是企業整套軟硬件體系的量產能力與場景適配能力。後摩智能以2D、3D雙軌存算一體路線為核心，疊加統一軟件棧，走出一條差異化算力路徑。只有算力底座足夠紮實，端邊AI的想象力才能充分釋放。當下，端邊AI的商業化故事，正翻開全新篇章。