把 Fable 5 裝進 MacBook，還要多久

把 Fable 5 裝進 MacBook，還要多久

原本預計在7月8日下午結束體驗的 Fable 5，因為廣大用戶的熱烈反應，最終延長到12日才正式下線。對許多訂閱用戶來說，這短短的幾天時間，讓他們初次體驗到頂尖模型的魅力，卻又即將失去。這也引發了一個令人好奇的想像：這種等級的模型，究竟什麼時候才能真正跑在我們自己的裝置上？ 過去，人們討論前沿模型時，焦點總是放在「它有多強」、「比競爭對手快多少」或「能取代什麼工作」。但現在，開始有人問：「它能不能跑在我的設備上？」不過，這個想法目前對 Fable 5 來說，確實還過於樂觀。畢竟，這是 Anthropic 第一個 Mythos 級別的公開模型，擁有 100 萬 token 的上下文窗口，專為長時間的異步任務設計，目前只能在 AWS 和 Google Cloud 的資料中心裡運作。它與端側設備之間的距離，不是隔著一代晶片，而是好幾個數量級的算力、功耗與模型壓縮難題。 Fable 5 下線事件本身，也點出了另一個現實，正如 Reddit 上的討論所說，如果你不擁有矽晶片和模型權重，高可用性就只是一種幻覺。這個問題的出現，更像是一種訊號，說明端側 AI 這件事，已經從行業術語變成了大眾的普遍期待。 從發布參數，到發布架構

如果說過去兩年端側 AI 的主題是「宣佈」，今年的主題則變成了「重構」。晶片廠商不再滿足於在發布會簡報上標一個 NPU 算力數字，而是開始圍繞本地 AI 推理，重新設計整個硬體架構。 6月25日，高通給出了一組讓華爾街重新評估這家公司的數字：2029 財年非手機業務收入目標上調到 400 億美元，約為此前目標的兩倍。其中，資料中心 AI 基礎設施目標超過 150 億美元，汽車業務目標為 100 億美元。財務長 Akash Palkhiwala 的表述更為直接：「到 2029 年，手機將只佔我們晶片收入的三分之一。」支撐這個目標的硬體基礎，是已經進入第二代的驍龍 X2 系列。驍龍 X2 Elite 的 Hexagon NPU 做到了 80 TOPS 的 AI 算力，這個數字在 2024 年還屬於雲端推理晶片的範疇。最高 18 核 CPU、228GB/s 記憶體頻寬、128GB 統一記憶體的配置，已經不再是「能跑 AI 的筆記型電腦」，而是「為 AI 設計的筆記型電腦」。 比晶片本身更值得關注的，是高通的系統級佈局。6月17日的 AWE 大會上，他們推出了驍龍 START 計畫，將晶片、AI 軟體堆疊與合作夥伴網絡打包成模組化方案，讓品牌和企業能夠像搭樂高一樣，推出個人 AI 終端。首批落地的產品是智慧眼鏡，後續將擴展到更多型態。高通將這個願景稱為「The Ecosystem of You」——不是你在一台台裝置上打開不同的 AI，而是同一個 AI 追隨著你。 蘋果的動作則更加激進。根據彭博社 Mark Gurman 的爆料，蘋果正在進行自 2020 年 Apple Silicon 發布以來，最大的一次路線圖調整，跳過 M6 Pro 和 M6 Max，直接押注預計在 2027 年推出的 AI-focused M7。蘋果的 M 系列從 2020 年至今，路線圖一向準時，每年一代，每代三種配置（基礎、Pro、Max）。突然跳過整整一個高端代際，這意味著蘋果內部判斷，端側 AI 的需求已經緊迫到等不及按常規節奏迭代了。M6 基礎版的記憶體頻寬預計為 200GB/s（M5 是 153GB/s），M7 的目標則是 240GB/s。統一記憶體架構讓 CPU、GPU 和 Neural Engine 共享同一個記憶體池，天然適合大模型推理。M5 開始在每個 GPU 核心內置了 Neural Accelerator，AI 不再是一個獨立的協處理器功能，而是分佈在整個晶片的每一處計算單元裡。在 Gurman 看來，這是蘋果正在「加速推進」，因為 M7 擁有「支持端側 AI 和 GPU 密集型軟體的技術」——不是「支持 AI 功能」，而是「支持端側 AI」，這是一個晶片設計目標的根本轉向。 當蘋果和高通在筆記型電腦和手機上布局時，NVIDIA 從另一個方向切入。售價 4699 美元的桌面設備 DGX Spark，搭載了 Grace Blackwell 超級晶片，擁有 128GB 統一記憶體，以及 1 PFLOP 的 FP4 AI 算力。NVIDIA 將它定位為「個人 AI 超級電腦」。今年6月的 GTC 臺北場，黃仁勳又發布了 RTX Spark，這是一款更輕量的超晶片，目標是將 AI 原生 PC 推向更薄的筆記型電腦型態。這條產品線與 NVIDIA 的工作站策略也在匯合，RTX PRO Blackwell 系列已經在 Dell、HP、Lenovo 的新款工作站上落地。NemoClaw 項目讓用戶可以在本地工作站上運行安全、始終在線的 AI 助手。DGX Spark 負責桌面級重度推理，RTX Spark 負責輕薄筆電，RTX PRO 負責專業創作，全方位出擊，把本地 AI 從極客玩具變成了可量產、可定價的硬體品類。 向設備彎腰

硬體在追趕 AI，模型也在反過來適應硬體。過去一年，幾款關鍵模型的出現，正在改變「端側 AI 能做什麼」的答案。最明顯的動作來自 Google DeepMind，他們發布了 Gemma 4。這是基於 Gemini 3 研究、採用 Apache 2.0 許可的開放模型家族。五個參數規格一字排開，從只要 5GB 記憶體就能跑的 E2B，到對標 70B 級能力的 31B 密集模型，構成了一條從手機到個人電腦的完整產品線。最令人興奮的是那幾顆「小」模型，E2B 和 E4B 在 4-bit 量化下只需要 4-5GB 記憶體，可以在沒有 GPU 的普通筆記型電腦甚至手機上運行；12B 模型在 8GB 記憶體設備上就能運行，同時支援文字、圖像和音訊等多模態輸入；26B-A4B 是 MoE 架構，30GB 記憶體就能跑到 30 tokens/s 以上。Google AI Edge 團隊專門寫了一篇部落格來展示如何將 Gemma 4 12B 部署到日常筆記型電腦上，進行 agentic 工作流程。「Google 免費的 Gemma 4 模型跑在你可能已經擁有的硬體上。」當「可能已經擁有」成為一篇評測的賣點時，這說明端側模型的硬體門檻正在快速下降。 作為開源模型的典範，阿里巴巴的 Qwen3.6 也在想方設法讓更大的模型變得對本地更友好。Qwen3.6-27B 是一個 27B 參數的密集模型，擁有 100 萬 token 的上下文窗口，MindStudio 的評測將它評為 2026 年最佳開源 agentic coding 模型。Reddit 上已經有開發者搭建了「Qwen3.6 35B + llama.cpp + RTX 5090」的本地 agentic coding 方案。Qwen 的策略不是在參數規模上與雲端模型硬拼，而是透過 MoE 和架構優化，將接近前沿的能力塞進本地可承受的硬體邊界。它不是「小模型」，而是「被壓縮的前沿模型」。 如果說 Gemma 和 Qwen 是在做模型能力的降維適配，那麼面壁智能的 MiniCPM 系列則走得更底層，直接為手機和邊緣設備設計模型。MiniCPM-V 4.6 只有 1.3B 參數，專為端側多模態設計，能處理單圖、多圖和影片理解，可以在 iPhone、Android 和鴻蒙手機上直接運行，採用 Apache 2.0 開源，支援 Ollama 和 llama.cpp。1.3B 的參數數字在雲端模型旁邊幾乎可以忽略，但它在 OCR、文件理解和視覺推理上的表現，已經可以與 7B 級的模型競爭。MiniCPM5-1B 則更為激進，是 1B 級的密集模型，搭配部署和微調的 Agent Skills，將目標用戶從「AI 開發者」擴展到「普通消費者」。《Nature Communications》上發表的論文給它一個很重的評價：「邁向在邊緣設備上部署 GPT-4V 級多模態能力的關鍵一步。」

這些模型現在到底有多強，並不是重點，重點是它們正在證明一件事：端側 AI 不是「雲端模型的縮小版」，它是一個獨立的模型品類，有自己的設計目標、優化路徑和使用場景。而這個品類，正在以極快的速度成熟。 代價？不再是訂閱費那麼簡單

如果上述發展讓你覺得端側 AI 的未來一片光明，你是對的，但帳單也來了。本地 AI 不是免費的，你可能省下了訂閱費，但卻要為高記憶體頻寬、大容量統一記憶體和高算力 NPU 支付更高的硬體溢價。M5 Max 從 36GB 到 128GB 記憶體的差價是數千元人民幣，而這條價格曲線在「本地 AI」時代只會更陡。過去買電腦是選 CPU 型號和 SSD 大小，以後可能要再多問一句：「我買的這台，能跑多大的模型？」

端側推理的功耗牆也遠比記憶體更為嚴峻。驍龍 X2 Elite 的 NPU 可以持續跑幾十 TOPS，但在滿負荷 80 TOPS 時，無風扇輕薄筆電的體驗會明顯打折。NVIDIA 的 DGX Spark 本身就是一臺需要主動散熱的桌面設備。未來，「能跑大模型」和「續航不崩」之間，很可能是一個二選一的難題。 硬體溢價和功耗之外，廠商已經在用產品和本地模型的綁定，來建立自己的生態壁壘。蘋果的 Neural Engine 只能在 macOS 生態內發揮最大效能，Windows AI PC 的 Copilot+ 綁定了驍龍 NPU 和安全晶片，Google 的 AI Edge Gallery 是 Gemma 在 Android 上的最佳路徑，NVIDIA 的 RTX Spark 則與微軟的 Windows agent 生態深度鎖定。每一家都在用硬體能力築起自己的圍牆。 這是端側模型必須面對的另一個問題：更新會比雲端慢。雲端模型的迭代已經是月級，本地部署則依賴推理框架的適配、量化工具鏈的成熟以及用戶的主動更新。否則，你買回家的設備，運行的可能是上個季度的模型。 還有一條最容易被忽略的點：本地 AI 意味著一個系統級的模型能讀到你的檔案、照片、螢幕、日程和郵件。雖然不用上傳到雲端了，但它在你設備上，擁有「上帝視角」。當 AI 從雲端的匿名請求，變成你設備上那個「什麼都能看見」的常住程式，「本地等於安全」這個等式就不再自動成立。權限管理的複雜度，可能會比隱私本身更早成為消費者的難題。 AI 的使用成本不會因為端側模型而消失，它只是從訂閱費，變成了硬體溢價、生態鎖倉、功耗散熱和權限管理。過去買手機是在選 App 生態，未來買設備，可能是在選你的 AI 記憶住在哪裡。 所以，2028 年消費者可能真正得到什麼？ 把上述所有變數放在一起，我們可以做出一個分層預測。在高端電腦上，本地運行強大的寫作、程式碼、文件和圖片理解模型，將成為常態而不是嚐鮮。本地 RAG、會議摘要、檔案搜尋和私有知識庫將真正可用，成為日常工具。手機端的多模態助手，在相簿搜尋、語音翻譯、智慧摘要上的表現會明顯變強。高端創作者、開發者和敏捷小團隊，會更願意部署本地 AI，因為資料不外洩、延遲更低、按需使用邊際成本為零。AI PC、Mac 和本地 AI 盒子將形成新的硬體分層，「這台設備能跑什麼模型」將成為和「這台設備螢幕多大」一樣自然的購機參數。 再往遠看一步，接近 GPT-5 或 Claude 4 水準的開放模型，有可能透過量化、MoE 和推理優化，在高端個人設備上達到可用水準。但這取決於推理框架（llama.cpp、MLX、vLLM）的演進、KV cache 壓縮技術的成熟，以及模型廠商是否願意針對本地部署做專門的訓練路線優化。本地多模態即時助手，有可能在部分設備上達到「日常可用」，但自然度和低延遲，離雲端旗艦還有一段距離。 至於在普通手機或普通筆記型電腦上完整運行 Mythos 本體，短期內不可能。萬億級參數的推理，即使是最激進的量化方案，也需要數十 GB 的記憶體，遠超消費電子設備的極限。本地 AI 在長程 agent、百萬 token 上下文、多模態即時推理和安全能力上，全面與雲端旗艦看齊，2028 年大概率做不到。 但方向就是這個方向。縱觀蘋果、高通、NVIDIA 這些大公司的做法，顯然，端側 AI 不再是一個「會不會來」的問題，而是誰先跑通硬體成本、模型能力和用戶體驗之間那個精確的平衡點。當這個問題從產業鏈上游一路燒到消費者的搜尋框裡，這件事已經比任何參數和路線圖都更能說明，端側 AI 的時代，已經不在遠處。