騰訊混元把經典臨界批大小理論搬進大模型強化學習,PPO生成吞吐最高拉到2.29倍、GRPO省下29%訓練時間

2026年9月24日 14:10
騰訊混元把經典臨界批大小理論搬進大模型強化學習,PPO生成吞吐最高拉到2.29倍、GRPO省下29%訓練時間
站內 AI 整理稿

AI資訊AI新聞資訊正文騰訊混元把經典臨界批大小理論搬進大模型強化學習,PPO生成吞吐最高拉到2.29倍、GRPO省下29%訓練時間發佈於AI新聞資訊發佈時間 :2026年9月24號 13:57閱讀 :1分鐘大模型強化學習正奔向更大的GPU集群和更厚的訓練數據,訓練效率已從一個配角升格為頭等大事。騰訊混元團隊最新研究把目光投向了一個被忽視已久的老問題:當模型自己生成訓練數據、且rollout生成與訓練本身以不同節奏縮放時,批大小這門手藝該怎麼重做。研究從經典的臨界批大小理論出發,把它重新推演到在線大語言模型強化學習這個新場景。

結論很務實:在GRPO和PPO這兩類主流算法裡,只要在擴大批大小的有界範圍內重新調一調學習率,就能保住"每條響應"該學到的東西不被稀釋。也就是說,批大小不是越大越好、也不是一成不變,而是存在一個能調教清楚的甜蜜區間。落到實打實的硬件賬單上,收益相當醒目。在固定硬件配置下,把批大小往上擴,PPO生成階段的吞吐量最高提升2.29倍;而測量到的最佳GRPO配置,用比此前少29%的時間就跑到了同一個驗證目標。對天天燒卡的訓練團隊來說,這意味著同樣一張集群、同樣一個目標,要麼更快地交卷,要麼在單位時間裡吞吐更多——強化學習裡最貴的那部分生成開銷,被悄悄擠出了水分。

這項研究的意義在於,它給在線RL的規模化提供了一把可操作的旋鈕:模型在強化學習裡既是學生也是出題人,生成與訓練兩條流水線的縮放失配正是效率黑洞的源頭,而臨界批大小加學習率重調的組合,恰好補上了這道縫隙。當行業還在比誰的模型更大,騰訊混元先把刀磨向了怎麼讓已有的卡跑得更划算。相關推薦Hy Image3.5preview 登陸 WorkRally,影視創作者免費試用兩週騰訊混元發佈 Hy Image3.5preview,騰訊視頻工業級 AI 平臺 WorkRally 首發接入,兩週內向創作者免費開放,用於劇集分鏡、影視物料、角色場景設定等。

該平臺覆蓋劇本解析、分鏡生成、內容生產到資產協作全鏈路,具備專家級 Agent 與 S+ 級影視動漫技能庫。2026年9月24號 10:20152.6k阿里試水QwenBook AI設備,團隊規模約150人阿里雲無影團隊正研發AI設備QwenBook,定位原生智能體電腦,形態接近“千問平板”,尚處早期試水,主打辦公場景,接入Qwen3.8-Max和Flash模型。產品定義與硬件自研,融合無影雲電腦系統及端雲能力,團隊約150人。2026年9月22號 16:01215.4k騰訊混元圖像3.5來了:畫字更準、修圖更強、一張2K圖只要一毛五9月22日,騰訊混元發佈圖像3.

5預覽版,畫質、排版、修圖等核心能力全面升級,使用成本大幅降低,主打“便宜又好用”。官方稱整體能力較上代提升約30%,文字生成更精準,避免缺筆少畫;排版更能理解畫面佈局需求;修圖能力同步增強。2026年9月22號 10:47237.9k上海AI Lab與上交大拋出NCP預訓練新範式,8.9B隱空間模型用一半Token追平對手上海AI實驗室與上海交大LUMIA Lab提出新預訓練任務“下一個概念預測”(NCP),推出全球首個8.9B離散隱空間基座模型NCP-ArchPreview。該模型僅用51.3%的Token預算,就在5.

73T語料上追平OLMo-3-7B最終預訓練Loss,顯著提升訓練效率。2026年9月22號 10:39167.6k雙節前後 10 多款大模型蓄勢待發:GPT-6 全系、Opus 5.2、V4.1 Pro 領銜中秋國慶雙節前後,國內外至少十餘款大模型將密集發佈。國外方面,OpenAI月底開發者大會前,重磅產品延期至下週,將補齊GPT-6全系:Sol、Terra、Luna,與已發佈的Astra形成完整矩陣;Anthropic則被指跳過5.1版本。美國廠商雖無節前發佈習慣,但此次節點巧合,或掀新一輪AI競賽。2026年9月20號 16:07226.

8k智啟未來,您的人工智能解決方案智庫English簡體中文繁體中文にほんご© 2026

Related

相關文章

雷峰網生成式AI

百圖生科與11傢伙伴戰略合作,AI生物計算覆蓋醫藥研發及農業育種

活動焦點:· 百圖生科主辦、港投公司支持的第三屆峰會2026年11月6日開幕,匯聚約300名科研、產業及投資界代表,探討人工智能與生命科學的融合發展· 百圖生科InnoHub分別與大學、科企及投資機構合作,以AI生物計算聚焦乳癌及中醫藥研究、農業育種、研發與產業配套,包括與香港大學推進「乳腺癌虛擬細胞大模型」項目,以及與香港浸會大學籌建「AI中醫藥聯合實驗室」;合作網絡延伸至日本、新加坡及「一帶一路」沿線市場· 全日設多場院士演講及圓桌。

1 天前
何夕2077生成式AI

螞蟻百靈推出原生多模態模型

螞蟻百靈發佈 Ling 3.2 Flash:三項核心基準超越 Claude Opus 5,前兩週限時免費開放AIbase基地發佈於AI新聞資訊 · 1 分鐘閱讀 · Nov 6, 20266811月6日消息,螞蟻百靈官方團隊今日正式宣佈推出全新的原生多模態大模型——Ling-3.

1 天前
何夕2077生成式AI

圖龍鋒報告漏洞復現率99.4%

99.4%登頂全球第一!這個中國AI師承世界冠軍 一水 2026-11-06 13:01:47 來源:量子位 一舉刷新「AI安全世界盃」CyberGym世界紀錄 一水 發自 凹非寺 量子位 | 公眾號QbitAI 99.4%,全球第一。 好傢伙,硅谷那幾家天天站在聚光燈下大談AI安全,誰承想呢? 如今刷新AI安全世界紀錄的,是一箇中國AI系統。

1 天前
何夕2077生成式AI

可複用原語提高智能體任務完成數

Computer Science > Computation and Language arXiv:2611.07461 (cs) [Submitted on 5 Nov 2026] Title:The Last Mile to the Real World: Agent-Native Primitives as Reusable Building Blocks for Solving Real-World Tasks Authors。

1 天前