混元Hy4 preview輕量版來了！權重壓縮86%，性能幾乎不減

（公眾號：zhidxcom） 作者 | 程茜 編輯 | 心緣 9月1日報道，今日中午，騰訊發佈了其最新一代旗艦模型預覽版本Hy4 preview的輕量版模型，將模型權重從1.5TB壓縮到214GB。騰訊混元的測試結果顯示，壓縮後的模型與Hy4 preview原始模型相比，長文理解、多輪長上下文檢索和原版基本在同一水平，數學有小幅回落。壓縮後模型能覆蓋日常編程輔助、工具調用、長文檔處理和常規問答。

8月28日，騰訊發佈並開源了Hy4 preview，騰訊公開的Hy4 preview基準測試結果顯示，在多個編程、智能體和科研基準測試中，Hy4 preview的得分超過了DeepSeek V4 Pro 0824等模型，排名位居開源模型第一梯隊。▲BF16原版（左）和MIX-STQ10量化版（右）生成效果 MIX-STQ10量化版在多個主流評測集上和BF16原版的差距都在一兩分以內，長上下文評測集MRCR、真實工具調用Agent評測MCP‑Atlas等任務中分差不到1分，整體領先UD-IQ1M量化版本。

此外，研究人員還驗證，即使不是整套同構硬件，開發者通過手邊現有的異構設備拼接，也能跑通旗艦大模型。騰訊混元團隊基於分佈式集群推理框架prima.cpp進行了驗證，在一臺4090筆記本和一臺四卡A4000服務器上，兩端顯存合計80GB、內存合計64GB，分處兩個局域網，靠prima.cpp的異構調度把MoE層拆開分配，讓計算和權重讀取彼此重疊，最終將214GB的Hy4 preview輕量版模型協同跑到了1.02 token/s，比筆記本單機offload快了約6倍。騰訊混元稱，其通過Sherry稀疏三值量化算法和MIX-STQ10混合精度策略兩大技術，實現了壓縮模型權重且性能沒有大幅降低。

1、Sherry稀疏三值量化算法：把最激進一檔權重壓到平均1.25比特 騰訊混元自研了Sherry稀疏量化算法，以優化路由專家部分。Sherry是一種三值量化方法，每四個權重為一組，一起量化成 {-1、0、+1}，並強制每組裡恰好1個為0。這樣每組有32種組合，可以用5bit索引編碼，攤到每個權重平均1.25bit，計入分塊共享的縮放係數等額外開銷，落到文件裡的實際開銷約1.31bpw。基於Sherry，騰訊混元在llama.cpp裡實現了STQ10推理內核，打通了量化、推理到評測。

其將STQ10和幾種常見低比特格式放在同一算子上比，STQ10在比特數最低的同時，速度和IQ1M基本持平，比IQ1S更快。▲各個算子速度展示 2、MIX-STQ10混合精度策略：按校準數據逐層決定每層比特壓到多低 直接把全部層統一到同一量化檔位，操作簡單，但模型各層對壓縮的耐受能力差異很大。社區主流UD‑IQ1M方案，對絕大多數路由專家層統一採用IQ1M（1.75bpw）。騰訊混元團隊在校準集上發現，與其讓這些層統一用IQ1M，不如按敏感度逐層分檔：敏感的層留IQ2XXS（2.06bpw），不敏感的層用壓縮更強的STQ10（1.31bpw）。這套逐層混合精度方案，就是MIX-STQ10。

在不增加平均比特預算的前提下，這樣逐層分檔，整體量化誤差更低。落到最終模型，MIX-STQ10的路由專家權重不光評測表現更好，還比UD-IQ1M少佔了超5GiB。結語：騰訊混元給出MoE部署新思路，不再一刀切壓縮模型 長期以來，MoE模型憑藉專家混合架構獲得更強能力，但龐大權重帶來更高顯存門檻，很多高性能開源模型只能跑在高端集群，普通開發者與中小企業難以本地部署。騰訊混元此次針對MoE模型專家層參數分佈特點做定製化壓縮，不再簡單對全模型統一降比特，按照各層敏感度差異化分配精度，將模型壓縮帶來的性能損耗見效，或能為超大MoE模型實現輕量化落地提供參考。