從3.3GB壓縮到440MB！騰訊混元極低bit翻譯模型如何做到幾乎零損失？
AI資訊AI新閒資訊正文從3.3GB壓縮到440MB！騰訊混元極低bit翻譯模型如何做到幾乎零損失？發布於AI新閒資訊時間 :Aug 27, 2026閱讀 :1分鐘近日，騰訊混元團隊公佈了一項最新的技術成果，成功將旗下主打端側的1.8B 翻譯模型壓縮至幾百兆大小，不僅翻譯質量幾乎沒有損失，並且已經成功落地嗶哩嗶哩（B站）的直播彈幕實時翻譯中，實現了從實驗室 Demo 到高併發真實業務場景的跨越。作為基底的 Hy-MT2-1.8B 模型原本屬於騰訊混元翻譯模型族，原生支持33個語種互譯。在同等尺寸中，其整體翻譯質量在 FLORES-200通用翻譯評測上已經優於多款商業翻譯 API。然而，由於1.
8B 模型在傳統的 FP16精度下需要佔用高達3.3GB 的內存，即便降到4-bit 量化也仍需1GB 以上，無法滿足端側多任務併發的內存管理需求。為此，騰訊推出了兩檔極低比特的量化方案。第一檔是面向中高端設備的2-bit 模型。該方案採用了拉伸彈性量化（SEQ）技術，將參數量化至特定的離散數值，並結合量化感知蒸餾(QAD)手段，在將模型體積壓縮至574MB 的同時，實現了幾近無損的翻譯質量。第二檔則是面向全系設備的1.25-bit 極低比特方案。該方案基於騰訊自研的 Sherry 稀疏高效三值量化技術，該技術此前已被頂級學術會議 ACL2026選為 Oral。
其核心策略是通過細粒度稀疏機制，使每4個參數中最重要的3個用特定數值存儲，其餘置零，平均每個參數僅佔用1.25-bit。配合專為 CPU 設計的 STQ 內核，原始的3.3GB 模型被極致壓縮至440MB。為了讓極低 bit 模型擺脫對特定移動端 ARM 架構的依賴，英特爾團隊針對 x86生態進行了深度底座適配。通過對量化矩陣運算中的向量化、權重重排和 VNNI 指令融合環節進行優化，Hy-MT2的低比特量化格式在英特爾主流機型（包括最新第三代酷睿 Ultra 及酷睿處理器）上的 token 運行速率實現了顯著提升，成功將極低比特方案從移動端擴展至 PC 和邊緣設備。
在實際業務驗證方面，嗶哩嗶哩已將該極低比特模型正式接入直播彈幕實時翻譯。整套資源的下載大小約為600MB，運行時內存佔用保持在500到700MB 之間，平均單條彈幕的翻譯耗時在500到800毫秒左右，在常規彈幕頻率下能夠做到流暢的實時翻譯，並能準確駕馭各類網絡流行語。這種在設備本地獨立運行的模式，既降低了雲端服務器的調用成本與帶寬開銷，也在全流程中避免了數據上傳，切實保障了用戶的隱私安全。相關推薦騰訊大模型迎來人事大地震：姚順雨掌舵基礎模型騰訊混元多模態團隊近期深度調整：原xAI多模態理解負責人藺旭東加盟，任多模態內容生成算法負責人；原負責人胡瀚離職創業，前OpenAI研究員田永龍加入。
系列人事變動標誌著騰訊在多模態大模型研發上正進行深層次路線重構。Aug 19, 2026233.3k騰訊大模型人事調整:混元后訓練負責人徐燦轉崗微信WeLM騰訊大模型佈局調整：原混元資深研究員徐燦轉崗微信事業群，加入WeLM團隊，專注後訓練與Agent研發。徐燦曾創建WizardLM並提出Evol-Instruct，在合成數據、強化學習等領域積澱深厚。此舉正值微信AI加速落地期。Aug 14, 2026259.4k無需雲端API!手機即可本地運行，Liquid AI推出端側智能體模型LFM2.58月5日，Liquid AI發佈專為智能體工作流設計的26億參數端側模型LFM2.5-2.
6B，可完全本地運行於手機等終端，提供低成本、低延遲與隱私保護方案。其基於34萬億詞元預訓練，詞表容量128K，後訓練融合監督微調、教師特化與多領域策略。Aug 5, 20261,372.6k騰訊混元 Hy ASR3.0 預覽版發佈：從"聽清"到"聽懂"，方言詞錯率壓到 3%騰訊混元發佈語音識別模型Hy ASR3.0 Preview，基於大語言模型Hy3，融合高精度識別與深度語義理解，實現從“逐字轉寫”到“理解語境”的質變。模型覆蓋十大方言片區，長音頻場景優勢突出，不依賴標準普通話，讓AI不僅能聽清字，更能真正聽懂話。Aug 5, 2026238.9k騰訊混元發佈 Hy ASR 3.
0 preview：語音識別不再逐字硬轉，而是真的聽懂了語境騰訊混元發佈語音識別模型Hy ASR3.0preview，基於大語言模型Hy3的語言理解能力，融合高精度識別與深度語義理解。它在通用識別、上下文感知、多場景魯棒性及方言覆蓋等方面全面提升，能結合語境給出更準確連貫的轉寫，實現從逐字轉寫到理解語義的進化。Aug 5, 20261,203.1k智啟未來，您的人工智能解決方案智庫English簡體中文繁體中文にほんご© 2026
Related
相關文章
Google 開源 Harness²：遞迴代理程式框架，無需新模型也能提升效能
Google Cloud AI Research 開源了 Harness²，這是一個遞迴代理程式框架，透過改良凍結模型周圍的程式碼與檔案來增強效能。對開發者而言，重點很簡單：你的代理程式無需更強大的模型也能進步。重點摘要：規模為框架而非模型，訓練參數為0，包含8個可編輯的框架元件，版本0.1.0。執行環境為Linux、Python 3.12或3.13搭配uv，模型呼叫則透過Vertex AI。GPU需求未公開。效能方面：一次改良步驟即可在3個基準測試中，提升所有4個模型與框架組合的表現。最佳成果：GLM-5搭配OpenCode在WorkBuddy-Bench上從64.2提升至75.7（+11.5點）；最差表現：GLM-5搭配Codex在JobBench上僅提升1.2點（23.6至24.8）。什麼是Harness²？它是Google研究推出的即插即用框架。
如何利用NVIDIA結構化資料模型進行零訓練表格預測
In this tutorial, we implement Structured Data Models, NVIDIA’s new library that puts several pretrained foundation models for tables behind one PyTorch interface, and use it to make predictions without training.
認識 Kyutai REKI：2.4B VLA 模型為機器人操控帶來高效記憶
Kyutai 與 Inria 及 École des Ponts 合作，推出了 REKI——一個用於機器人操控的 2.4B 參數視覺-語言-動作模型（VLA）。該模型僅使用公開數據進行預訓練，並配備了輕量級的近期記憶功能。在三個分佈外基準測試中，僅有規模約為其兩倍的模型能超越它。所有模型權重已於今日在 Hugging Face 上公開。核心資訊：規模：2.4B 參數（2.2B Qwen3.5-2B VLM + 0.2B 流匹配動作專家）。記憶涵蓋最近 3 幀，間隔 1 秒。運行環境：在 1 張 NVIDIA H100 上進行基準測試。從兩個 256×256 攝像頭輸入，編譯後每個動作區塊耗時 21.8 毫秒。權重以 BF16 格式提供，暫無量化版本。性能：在 LIBERO-Plus 和 RoboTwin Clean2Rand 基準測試中，為公開數據預訓練的 VLA 模型中最優；在 LIBERO-Plus 上達到 90.4% 的最高分。
DeepSeek 發布 V4.1-Flash-1017，DeepSWE 得分 77.0，並開放搜尋 API
DeepSeek 剛發布 DeepSeek-V4.1-Flash-1017，這是其 V4.1-Flash 模型的新檢查點，現已在 DeepSeek 網站、應用程式及 API 上線。DeepSeek 宣稱該版本在性能、任務完成速度與輸出簡潔度上均優於 9 月發布的 V4.1-Flash，並稱之為性能與成本的帕累託改進。同時，DeepSeek 也向所有開發者開放了搜尋與擷取 API。對代理建構者而言，這意味著更便宜的編碼模型加上單一 API 金鑰即可使用的第一方網路層。重點摘要：骨架參數 552B，另加 196B 的 Engram 參數；預填充階段每 token 啟用 8B 參數，解碼階段啟用 16B 參數；上下文長度達 1M tokens，最大輸出 384K tokens。運行於 DeepSeek API 的 deepseek-flash 模型。9 月版的 V4.1-Flash 權重（763B 參數，FP8）採 MIT 授權。
2026年20款Jev替代方案：挑戰TypeSafe的決策模型
TypeSafe於2026年9月15日推出Jev，這是一款決策模型而非聊天機器人。使用者可定義允許的答案，Jev將回傳標籤、分數或是否的機率。約4週內，至少20款Jev替代方案相繼問世，來自Cloudflare、OpenAI、Perplexity、Liquid AI、AWS的Strands Labs及獨立開發者。本指南比較各方案在規模、授權、硬體、價格、Jev API相容性及已發布基準測試的表現。重點摘要：規模範圍從287M（GLiNER2.5-multi-Decide）到35B-A3B（Mapika Decider），Jev規模未公開。執行環境：Von和Laya等編碼器可在CPU上運行，4B適配器適用24 GB GPU或32 GB Mac。效能：多數開源模型在困難推理上落後Jev，但在狹窄分類任務上數款與之匹敵或超越。最佳表現：Cloudflare Clef在BANKING7取得94.20分。
長鑫科技市值兩月內跌去1萬億；阿里加碼AI硬件品牌，天貓、速賣通聯動；國行版蘋果AI有望12月上線，百度、阿里參與合作丨雷峰早報
要聞提示1.長鑫科技市值兩月內跌去1萬億2.年內已至少18次故障！DeepSeek發放宕機補償，有人拿到3000元3.阿里加碼AI硬件品牌，天貓、速賣通聯動4.國行版蘋果AI有望12月上線，百度、阿里參與合作5.可靈AI新一代模型Kling 4.