GLM-5.5 要來了？唐傑最新論文，曝出智譜神秘模型

圖像生成正確率 54%，文字問答僅 14.57%。作者丨鄭佳美 編輯丨岑 峰 智譜內部的 GLM-Omni，先在一篇論文裡露了面。這篇研究由清華大學與智譜 AI 聯合完成，唐傑擔任通訊作者。模型名稱剛剛出現在論文中，社交平臺上就有人把它與 GLM-5.5 聯繫起來。雖然論文並沒有披露版本對應關係，但給出了 GLM-Omni 的技術底座，以及它在統一視覺理解和圖像生成方面的一組實驗結果。參考鏈接：https://arxiv.org/pdf/2610.

21459其中一組數據尤其扎眼：經過圖像生成訓練，GLM-Omni 在數字任務中，把指定號碼正確畫在球衣上的比例達到 72%，研究人員拿走圖片，改用文字詢問球衣號碼，正確率卻只有 2%。模型已經能在畫面裡復現的知識，換成一句問話，竟然幾乎答不上來。這恰好戳中了統一多模態模型的一處技術瓶頸。過去，圖像理解負責看，圖像生成負責畫。如今兩種能力逐漸進入同一套架構，模型在學習生成物體、地圖和文字圖案時，也會接觸大量未被語言描述的視覺信息。可圖像裡學來的東西，究竟能有多少被語言推理使用，光看生成效果很難知道。而智譜的這篇文章正是試著沿著知識進入模型、再被調用的過程，把這個問題拆開來看。

01KTP：把答案留在圖片裡要確認生成訓練有沒有教給模型新知識，先得繞開它已有的記憶。讓模型生成現實球隊的球衣，即使號碼畫對了，也可能只是因為它早在文字資料中讀到過。研究人員因此搭建了一個虛構世界 MagicWorld，給從未存在過的實體安排顏色、號碼和空間關係，讓目標知識儘量只從此次訓練的圖片裡進入模型。例如，一件虛構球衣叫 Arvenbrock，號碼設為 10。訓練時，文字提示只要求生成這件球衣，數字 10 只出現在目標圖像中。等模型完成訓練，研究人員再直接問它 Arvenbrock 的球衣號碼。如果能回答 10，就有理由認為它把圖像裡的實體屬性關聯帶進了文字回答。這套數據並不只有球衣。

團隊設計了顏色、數量、形狀、空間排列、相對大小、數字和文字 7 類任務，每類 50 條知識，共 350 條，再為每個實體制作不同背景和視角的圖像，篩選後留下 8552 組訓練樣本。訓練文本還經過檢查，儘量排除答案洩漏和屬性分佈不均造成的干擾。不同任務也能拉開知識類型的差別：形狀與顏色往往屬於有限類別，空間排列要求理解對象之間的位置關係，球衣號碼和書籍標題則需要記住具體的字符序列有了這批受控知識，研究人員分別測試兩條路徑：一條讓模型重新生成目標圖片，再檢查圖中的屬性，另一條不提供圖片，只用文字提問。前者衡量模型能否在生成過程中復現關聯，後者衡量它能否直接把關聯轉成語言答案。

這樣就能區分模型根本沒學會某項屬性，還是已經會畫，卻無法從文字端調用。參與實驗的三種模型採用不同架構。BAGEL 將理解和生成放在相對獨立的專家分支中，SenseNova-U1 直接建模圖像像素，GLM-Omni 則從 GLM-4.1V-Thinking 的預訓練模型出發，接入基於 X-Omni 的離散圖像 Tokenizer。研究還加入 10000 條與目標知識無關的文字問答，讓模型熟悉回答形式，卻不提前得到答案。02會畫卻不會說，問題卡在哪裡直接測試出來的差距，比球衣案例更普遍。BAGEL 的平均視覺正確率為 31.43%，文字回答只有 8.86%，GLM-Omni 分別為 54.

00% 和 14.57%，SenseNova-U1 則為 61.14% 和 20.00%。SenseNova-U1 在號碼任務中的視覺正確率甚至達到 88%，純文字回答卻是 0%。圖像生成的訓練目標，是讓模型根據名稱和提示重建視覺內容。只要實體與屬性的關聯能幫助還原圖片，就可以通過訓練得到強化，但文字問答還要沿著語言輸出路徑找到對應屬性，並把它變成字符或詞語。共享參數不意味著這些路徑已經互相打通。還有些知識連生成路徑也沒學穩，例如 BAGEL 與 SenseNova-U1 在空間排列任務中的視覺正確率均為 0%，因此後續訓練需要區分學習不足和讀取困難。

團隊先採用 Textual Alignment，給部分實體補充文字問答，看看模型能否從少量樣例學會怎樣讀取同類視覺屬性。每類 50 個實體平分為兩組：全部接受圖像生成訓練，其中 25 個實體再獲得每個 10 條的文字問答示例，剩餘 25 個不提供文字答案，留作測試。模型需要把在前一組學到的方式用到後一組身上，而不能直接記住測試答案。結果頗有分化。BAGEL 的平均文字正確率從 8.86% 升至 15.43%，SenseNova-U1 從 20.00% 升至 28.00%，GLM-Omni 卻從 14.57% 降至 12.57%。

SenseNova-U1 的形狀任務從 20% 增至 68%，相對大小達到 100%，可三種模型在測試實體的數字與書籍標題任務中，正確率仍是 0%。這種差別與屬性本身有關。形狀、大小有可以遷移的分類和比較規則，其他實體的問答示例能夠提供幫助，號碼和書名卻需要對應到每個實體獨有的字符，學會回答句式遠遠不夠。更關鍵的是，圖像生成和文字問答仍被拆成兩種訓練樣本，模型分別學會了畫圖與作答，卻沒有在同一條響應中練習從視覺內容走向語言答案。研究於是改變了兩種監督的組織方式。

03讓圖像和文字一起訓練Interleaved Image–Text Alignment（圖文交錯對齊）把圖像生成和文字回答放進同一條訓練序列。碰到球衣號碼問題，模型先生成對應球衣，再根據畫面裡的號碼組織文字答案。圖像重建目標和語言監督圍繞同一個實體屬性發揮作用，比起兩類任務各練各的，訓練過程多了直接的銜接。評估條件卻沒有改變：訓練時可以圖文交錯，測試仍要求直接文字回答，不能臨時生成圖片。GLM-Omni 的平均文字正確率由文本對齊階段的 12.57% 提高到 26.86%，形狀任務從 12% 升至 64%，空間排列從 0% 升至 40%。

BAGEL 和 SenseNova-U1 的平均值也分別達到 17.14% 與 28.57%。不過，部分顏色和數量任務出現回落，交錯訓練還無法兼顧每種視覺屬性。提升究竟來自圖像監督，還是隻是增加了文字推理內容？團隊在 GLM-Omni 上做了消融：保留同樣的交錯響應、文字監督與獨立圖像生成訓練，只屏蔽交錯樣本中的圖像損失。平均文字正確率隨即從 26.86% 跌到 13.71%。這說明圖像重建的訓練信號確實對語言調用產生了影響，而不只是給模型多看了一段文字。至於模型具體通過哪些參數共享這些信息，實驗還沒有定位。即使如此，號碼、書名等知識依舊難以穩定地被直接說出來。

研究人員索性換了條路：既然模型更擅長把答案畫出來，回答之前能不能先畫一遍？Visual Chain-of-Thought（Visual CoT）允許推理過程中生成目標圖像，再從圖像中識別屬性，最後回答文字問題。這次 GLM-Omni 的平均正確率從 26.86% 升至 41.14%，BAGEL 從 17.14% 升至 20.57%，SenseNova-U1 從 28.57% 升至 34.86%。更明顯的是數字任務：三種模型原先直接文字回答的正確率均為 0%，使用 Visual CoT 後分別達到 4%、36% 和 20%。

論文中的一個案例裡，SenseNova-U1 直接回答球衣號碼時給出了錯誤的 69，生成球衣圖像再讀取後，答出了正確的 31。這也帶來新的取捨。生成圖像能夠成為知識檢索的中間載體，卻需要額外計算，若圖像內容出了錯，答案還可能被帶偏。書籍標題任務在 Visual CoT 下依然沒有改善，複雜字符的生成和讀取仍存在困難。加上實驗知識來自受控虛構世界，這條路線在真實動態場景中的效果，還有待進一步檢驗。04統一多模態還有一道坎GLM-Omni 隨論文露面，讓智譜在統一視覺理解與生成方向上的內部探索有了具體的技術細節。

研究中的幾輪實驗則把一個長期被生成效果掩蓋的問題擺了出來：模型通過圖像學到的東西，並不一定能直接用於語言回答。圖文交錯訓練改善了部分知識的跨模態連接，Visual CoT 則讓模型在需要時藉助生成圖像重新讀取信息。對於繼續走向統一架構的多模態模型，接下來的難題除了把圖畫好、把問題答對，還包括怎樣讓不同任務積累的知識有效互通。至於 GLM-Omni 是否會進入某個後續產品版本，仍需更多公開信息。上車，帶你看遍全球 AI 頂會精華可獨家暢覽：專家演講PPT大會報告全文熱門論文解讀學術新星訪談掃描上方二維碼或點擊「閱讀原文」關注專區。