對話高通工程技術高級副總裁：HBC性價比優於HBM，2bit量化已與中國廠商合作

（公眾號：zhidxcom） 作者 | ZeR0 編輯 | 漠影 8月30日報道，本週，在高通美國聖迭戈總部，高通技術公司工程技術高級副總裁侯紀磊與等媒體進行深入交流，圍繞2bit量化瓶頸與應用潛力、高帶寬計算（HBC）技術的優勢及進展、端雲協同的智能體體驗如何實現等話題展開分享。侯紀磊博士負責領導高通AI工程技術團隊，這個部門包含研發、系統、商用軟件、面向開發者的AI平臺等若干團隊，旨在保證強有力的端到端功能。他談道，AI研發與產品必須保持強耦合，兩者之間需要形成一個“飛輪”，研發驅動產品、產品反哺研發，只有這樣，整個體系才能有生命力。

在AI領域，研發的意義不僅僅是做出一些炫酷的技術，更重要的是推動產品快速落地。設備端模型需要在滿足功耗和內存限制的前提下，追求更高推理性能。侯紀磊告訴，高通在2bit量化感知訓練（QAT）方案上走在行業前沿，已與部分中國廠商合作。在他看來，要解決2bit量化精度損失問題，關鍵在於用實際用例數據做匹配。據他分享，高通內部做了一些評估，30B左右的模型在ARC-AGI-3等複雜基準測試上已表現得相當好。面向個人、家庭、私有化場景乃至一些小型企業，100B或以下的模型已經可以覆蓋70%~80%的日常任務需求，剩餘的複雜任務可以分配給雲端處理。

提到高通對多家AI公司的收購，侯紀磊解釋說，高通的大部分收購都是為了“差異補缺”，更多是考慮人才儲備以及更好地在全球佈局，被收購團隊很快就會融入到高通完整體系之中。此外，高通的一些端側技術和其他技術儲備，也將逐漸通過產品技術路線圖的演進融合，形成更強的協同效應。侯紀磊稱，無論是目前的端側推理平臺，還是未來可能拓展到雲端的推理平臺，高通都希望在推理層面為各種AI入口提供支撐。一、高通2bit量化方案走在行業前沿，已與部分中國廠商合作 大多數情況下，模型是基於32bit或16bit精度進行訓練，將這樣一個高比特模型放入應用時通常會轉換成4bit。

侯紀磊談道，在將4bit轉為2bit、提供2bit量化感知訓練（QAT）方案方面，高通是走在行業前沿的企業，在這一領域，高通已經在和部分中國廠商合作，提供一些參考方案。從一些基準測試表現來看，高通的2bit參考方案，相對比較接近16bit、32bit的浮點（FP）模型的表現。然而，在實際應用場景中使用模型，往往會有精度損失。侯紀磊認為主要原因有幾方面： 首先，一個模型可能是基於FP16精度訓練，當它從16bit壓縮到2bit，模型的系統容量就會受到破壞，需要評估模型容量的損失會對廠商的實際系統用例造成多少影響。

如果影響比較大，那就說明，把16bit壓縮到2bit時，模型容量已不足以支撐最終用戶的用例。第二種解釋是，16bit模型在多任務上的泛化能力是比較強的，而把它轉換成2bit時，其多任務泛化能力會受到很大的約束和限制，同時OEM和模型廠商在落地時往往會提出更高的要求，如果使用普通的QAT並用一般的數據集去彌補這些損失，可能是不夠的。對此，侯紀磊認為，做2bit QAT一定要用實用的數據，要跟廠商最終的實際用例數據從數據分佈和多任務泛化方面進行匹配，如果能找到這樣的多元化、具備魯棒性的泛在數據，那麼2bit QAT依然具有較大的應用潛力。

舉例來說，谷歌在近期推出的Gemma 4系列E2B和E4B模型，就提供了2bit QAT的模型檢查點（Checkpoint）。谷歌在數據能力方面有優勢，所以他們經過數據的篩選和優化，能使2bit QAT實現很好的效果。當把這項技術應用到手機端或具體場景時，無論是模型廠商還是最終的OEM，都需要有足夠的數據能力去推動這一技術發展。二、詳解HBC技術：將計算搬到數據附近，有效內存帶寬提升幾十倍 芯片方面，高通已陸續發佈高通飛龍AI100、AI200、AI250、AI300等多代AI推理加速器。在AI加速器領域，高通在今年6月舉行的投資日活動上做了一個很有亮點的發佈——高帶寬計算（HBC）技術。

據侯紀磊透露，HBC是高通兩三年前就在數據中心領域開始投入的方向。高通想把HBC作為切入點率先進入市場，逐步將高通在端側積累的系統級、算法級優化能力融入其中，形成差異化優勢。在現代AI的規模下，移動數據已是整個系統中最大的能耗來源之一。大模型推理與人類交互通常有兩個過程：一是預填（Prefill），計算密集型階段；二是解碼（Decode），帶寬密集型階段。高通認為，在面向預填和解碼的大模型處理場景，推動HBC的應用對高通及其客戶都能帶來實際價值。

根據高通博客文章，藉助高通HBC第一代技術，高通飛龍AI250實現有效內存帶寬相較於搭載LPDDR5X的高通飛龍AI200提升18倍；搭載高通HBC第二代技術的高通飛龍AI300，有效內存帶寬較高通飛龍AI200提升54倍。現有片上SRAM方案、基於HBM的加速器方案都存在一些限制。片上SRAM方案將模型保存在直接置於處理器裸片之上的超高速內存中。其帶寬極高，時延極低，但片上內存每比特成本高昂，且單個器件上能容納的容量受限，因此一個大模型必須分散到大量器件上，結果是在小規模下速度出色，單位吞吐量成本低，但隨著模型增長，在硅片、功耗與系統複雜度上付出了高昂代價，因為容量被犧牲換取了帶寬。

高帶寬內存（HBM）方案是主流的AI加速器方案，在一顆大型處理器旁邊環繞堆疊式HBM，既提供充足容量，又提供了相對較高的帶寬。該方案用少得多的器件即可容納模型，但數據仍要從內存跨入處理器，致使功耗較高。高帶寬計算（HBC）方案採用相對低成本的DDR內存，通過3D堆疊的近存計算架構，把數字邏輯芯片（Digital Die）放在了內存架構底層，這之上集成了計算單元，能夠直接承載計算。該方案將計算搬到數據處，使最數據密集的操作在內存模塊內完成，只將緊湊的結果發送到接口之外，從一開始就消除了大部分數據流，因此能以整體較低的AI推理總擁有成本，提供高有效內存帶寬、低每token能耗和良好的內存容量。

成熟、大規模量產的內存技術，提供了一條務實的規模化路徑。讓近存計算變得切實可行的堆疊技術本身也已成熟：3D集成方面的進展，尤其是將DRAM直接鍵合到邏輯芯片之上的能力，正在從實驗室走向大規模量產。據高通估算，在大批處理大小下，高通HBC相比HBM具有6倍的每瓦特帶寬；在小批處理和大批處理大小下，高通HBC相比SRAM具有200倍的每瓦特容量。其他方案優化的是數據移動，而HBC在很大程度上避免了數據移動。計算機架構師用Roofline模型來推演性能。該模型以工作負載的算術強度（即每搬運一個字節所執行的運算次數）為橫軸，繪製其可達性能。

只有當工作負載在每個字節上執行了足夠多的算術運算，足以覆蓋取回該字節的成本時，它才能達到峰值算力。低於這一臨界點，它就位於一個斜面屋頂之上，而屋頂的高度完全由帶寬決定。在運行相同的工作負載時，運算次數對每個方案來說都是相同的，但跨越芯片邊界的每個字節所執行的有效運算大相徑庭，提高強度的方式是縮小分母——必須跨越內存與算力之間昂貴邊界的字節數，HBC架構便縮小了分母。按照高通的總結，片上內存在小型、固定、低批大小的FFN場景中領先，HBC在注意力機制和系統規模上領先，基於HBM的加速器則是介於兩者之間的全能型選手。

侯紀磊補充道，在提供相同帶寬時，HBM的價格更高，佔用的電路板面積也很大，所以成本高昂。與HBM相比，HBC方案首先減少了整個電路板的面積，其次在帶寬受限的場景下，達到相同性能的綜合性價比更佔優勢。無論是提供通用方案，還是基於HBC提供定製方案，目前高通與中國客戶和海外客戶都有深入交流。此外，高通的方案也得到了一些大型存儲器廠商的認可。產業各方正在形成共識，希望通過緊密合作，共同推動HBC的落地。三、很多端側創新技術可遷移至雲側，已與模型廠商深度適配形成參考方案 從研發角度，端側與雲側的一個共同點是模型效率，即每瓦特性能、每焦耳推理性能，本質上是在單位能量範圍內儘可能優化計算。

端側適合部署簡單、隱私數據相關、個人事務相關的任務，雲端適合承載複雜、長步驟、長上下文、強推理、智能體編排相關的任務。在侯紀磊看來，這兩類在成本、隱私、時延等方面相對互補，配合好就能為用戶帶來較好的無縫體驗。在端側，更重要的著眼點是把大模型推理優化做到極致，使它們變成端側的一個智能體入口。高通提供平臺來幫助推動實現端雲結合的智能體體驗。高通在端側已投入多年，在相對較小的大語言模型部署上帶來了很多技術創新，包括低比特量化、多token生成、近存計算、稀疏注意力、長上下文處理等。這些創新在技術角度是互通的，只是模型參數規模不同，所以把端側的很多技術遷移到雲側更容易。

挑戰在於，這些技術進入雲側之後，從模型和系統層面有很多優化工作要完成。高通平臺上OEM可能有三五十家，模型廠商也要面對多家客戶，如果每家都逐一適配，成本極高。侯紀磊認為，從規模化的角度來看，高通先和模型廠商進行深度適配與優化，形成成熟的參考方案，再把它推廣給更多客戶，這種方案對於模型廠商和高通都更有優勢。高通已在與兩家重要模型廠商推進這樣的合作。據他觀察，端側智能密度大概每12個月會有2-4倍的提升。如果這樣的發展速度能夠保持，未來一兩年，無論是10B還是20B級模型，它們的能力和優勢都會繼續提升。用戶用例、具體任務，以及將能力真正轉化為順手、自然、不會讓用戶反感的體驗，都需要不斷迭代。

此外，智能體操作系統涉及隱私信息的處理和存儲，未來需在端側提供一個相對私密的處理環境，保護隱私信息。這需要建立清晰的“握手”機制，把接口如何定義、各方如何負責等問題表達清楚。高通希望從平臺角度支持隱私保護和接口定義。結語：AI推理競爭拼系統能力，需要形成更緊密的生態協同 在AI領域，端側和邊緣側正成為承載高頻、隱私敏感、低成本推理需求的主戰場，其中效率優勢是關鍵的競爭分水嶺。AI推理競爭正在從單點硬件性能，升級為“平臺+生態+落地速度”的系統能力，這離不開模型優化、軟件棧打通、開發者生態和落地效率的綜合比拼。從端雲協同到2bit量化，都需要芯片廠商、模型廠商和終端廠商形成更緊密的協同合作。

未來，誰能把端側效率、雲側性價比和開發者體驗真正打通，誰就更有可能在AI推理的規模化落地中掌握話語權。