本地跑通 1000 億參數大模型：Acrab 發佈邊緣 AI 芯片 GΞLIX 1，5nm 製程撐起 650TOPS

一家名為 Acrab 的初創公司，今日正式發表其首款邊緣 AI 終端系統單晶片（SoC）——GΞLIX 1。這款晶片採用 5 奈米製程，核心亮點在於能夠直接在本機端運行規模高達 1000 億參數的大型語言模型，無需將資料傳送至雲端處理，為邊緣 AI 應用帶來全新的效能標竿。 從硬體規格來看，GΞLIX 1 採用異構計算架構，將 20 核心 Arm 中央處理器、運算能力達 3 TFLOPS 的圖形處理器、獨立神經網路處理單元（NPU），以及音訊與視訊處理引擎全部整合在同一顆晶片內。整體 AI 算力達到 650 TOPS（每秒兆次運算），這個數字在當前邊緣運算晶片市場中顯得格外突出。 為了讓讀者更具體理解這項數據的意義，可以對比方興未艾的筆電級處理器。高通驍龍 X Elite 的 NPU 算力約為 45 TOPS，英特爾酷睿 Ultra 系列 NPU 則在 40 TOPS 左右；GΞLIX 1 的 AI 算力幾乎是它們的十幾倍。這意味著 Acrab 的晶片在處理大規模模型推論時，能承載遠比傳統邊緣晶片更龐大的運算負載。 要讓千億參數模型在本地端順暢運行，光有高算力還不夠，記憶體與快取子系統的設計同樣關鍵。GΞLIX 1 配備 8 MB 的第一層快取（L1 Cache），共享的第二層快取（L2 Cache）頻寬高達 768 GB/s；外部記憶體則支援 256-bit 位寬的 LPDDR5X，傳輸速率達 8533 MT/s。這套高吞吐量配置，正是為了滿足大模型推論時對權重讀取與 KV Cache 存取的嚴苛頻寬需求，成為 1000 億參數模型得以落地於終端裝置的基礎。 Acrab 在本次發表會上，特別強調了 GΞLIX 1 在「預填充階段」的效能表現。預填充是指大型語言模型接收到使用者輸入後，在開始逐字生成回應之前，先將整段輸入進行完整編碼的過程。這個階段的快慢，直接決定了長文本輸入時的首個 Token 延遲時間。換句話說，預填充效率越高，使用者等待回應的第一個字出現的時間就越短，對於即時互動體驗至關重要。 目前市面上多數邊緣 AI 晶片在處理百億參數級別模型時已相當吃力，而 Acrab 將目標直接對準千億參數，顯示其技術野心。該公司表示，GΞLIX 1 的異構架構特別針對 Transformer 類神經網路進行最佳化，能在低功耗條件下維持高吞吐量的推論效能。雖然 Acrab 尚未公布具體的功耗數據，但 5 奈米製程本身就帶有明顯的能效優勢。 從應用場景來看，這款晶片適合部署在需要即時大語言模型推理的終端設備，例如邊緣伺服器、機器人、智慧終端機、車載系統，以及需要隱私保護的本地端 AI 助理。由於資料不需上雲，用戶的敏感資訊可以完全留在裝置內處理，對於醫療、金融、軍事等高度重視資料安全的領域特別有吸引力。 Acrab 作為一家新創公司，選擇跳過中低階市場，直接挑戰邊緣 AI 運算的頂點，這在業界相當罕見。目前主流邊緣 AI 晶片大多鎖定數十 TOPS 到一百多 TOPS 的算力區間，而 GΞLIX 1 的 650 TOPS 幾乎達到某些資料中心級加速器的水準，卻又壓縮在單一 SoC 的尺寸內。這使得它可能在邊緣運算市場中開闢出一條全新的賽道。 值得注意的是，GΞLIX 1 不僅僅是一個 AI 加速器，而是完整的系統單晶片，內建 20 核 Arm CPU 與 3 TFLOPS GPU，意味著它也能獨立處理傳統的通用計算任務與圖形渲染。這讓終端設備商能在單一晶片上同時執行作業系統、應用程式與 AI 模型，減少系統複雜度與成本。Acrab 目前尚未公布晶片的量產時程與合作夥伴，但業界預期這款產品將在今年下半年進入樣品階段。 隨著大型語言模型持續朝更大規模發展，千億參數模型在本地端運行的需求正逐漸浮現。Acrab 的 GΞLIX 1 無疑為這個趨勢提供了一個具體的硬體解決方案。未來能否在市場上獲得採用，仍需觀察其量產良率、功耗表現以及軟體生態系統的成熟度。不過，至少從技術規格來看，這家初創公司已經成功吸引業界目光，並為邊緣 AI 運算立下了新的標竿。