Granite 4.1 大型語言模型：它們是如何建構的

### Granite 4.1 大型語言模型：從資料工程到強化學習的完整建構歷程

IBM 日前釋出 Granite 4.1 系列語言模型，包含 3B、8B 與 30B 三種參數規模，均採用純解碼器密集架構（dense decoder‑only）。這些模型從零開始訓練，使用了約 15 兆個 tokens，並透過多階段預訓練、監督式微調與強化學習，讓 8B 的指令版模型在效能上足以匹敵甚至超越前一代 32B 參數的 MoE 模型（Granite 4.0‑H‑Small）。這一系列模型已採用 Apache 2.0 授權開源，顯示 IBM 在小型語言模型領域尋求「以品質取勝」而非單純堆疊參數的路線。

#### 模型架構與資料策略的基礎

Granite 4.1 的基本設計延續主流大型語言模型的共同特徵：分組查詢注意力（GQA）、旋轉位置編碼（RoPE）、SwiGLU 激活函數、RMSNorm 正規化以及共享的輸入輸出嵌入層。三種尺寸在層數、注意力頭數與 MLP 隱藏層維度上有所差異，但共享同一套訓練管線與資料混合策略。意味著模型的核心競爭力不在架構創新，而在於精心設計的資料處理流程與訓練排程。

#### 五階段預訓練：從廣泛網路到高品質精煉

Granite 4.1 的預訓練分為五個階段，逐步提升資料品質並調整學習率。第一階段使用約 10T tokens，以 CommonCrawl 網路資料為主（約 59%），搭配程式碼、數學、技術文件及少量多語資料，建立廣泛的語言理解。第二階段（2T tokens）大幅拉高數學與程式碼比例，數學占比從 7% 暴增至 35%，程式碼則從 20% 提升至 30%，目標是強化推理能力。第三與第四階段（合計 2.5T tokens）進入「高品質資料退火」，開始混入長鏈思考（long chain‑of‑thought）與指令調校資料，學習率從指數衰減轉為線性歸零。最後第五階段則是長上下文延伸訓練，將上下文窗口從 4K 擴展至 512K tokens，讓模型能處理更長的輸入序列。

#### 監督式微調與強化學習的加分環節

在預訓練完成後，研究團隊蒐集了約 410 萬筆高品質的監督微調樣本，並採用「LLM‑as‑Judge」框架進行篩選，確保資料的可靠性與多樣性。緊接著導入多階段強化學習管線，使用 on‑policy GRPO 搭配 DAPO 損失函數（Yu et al., 2025），系統性地強化數學、程式碼、指令遵循與一般對話能力。這種「預訓練→微調→強化學習」的順序，讓模型在一般知識與特定技能之間取得平衡，尤其適合企業應用中對精確度與可控性的要求。

#### 背景脈絡：為何資料品質比單純擴大參數更重要？

過去幾年，許多團隊追求超大規模模型，但 Granite 4.1 的成果證明，透過資料混合的精心設計，小模型也能達到甚至超越更大模型的表現。8B 密集模型能打敗 32B MoE 混合專家模型，背後關鍵在於五階段預訓練的資料過濾與比例調整，以及後續微調與強化學習的品質控制。這呼應了業界愈來愈重視「資料工程」的趨勢——模型架構固然重要，但訓練資料的來源、比例與清理方式，往往決定了最終效能的瓶頸。

#### 可能影響：開源小型語言模型的企業落地機會

Granite 4.1 以 Apache 2.0 授權釋出，意味著企業可以自由下載、修改並部署到私有環境，不必承擔 API 調用成本或資料外洩風險。對於需要低延遲、可離線運作的應用場景（例如內部客服系統、文件摘要、程式碼輔助），8B 或 3B 模型已能提供足夠的品質。此外，長上下文支援到 512K tokens，讓模型可以處理整份技術文件或大量日誌，進一步拓展實用範圍。不過，使用者需要留意模型的實測表現是否真的符合內部需求，建議先在代表性資料集上進行評估。

#### 讀者可關注的後續發展

目前 Granite 4.1 的技術報告已公開，模型權重在 Hugging Face 上可以下載，GitHub 上也有示範程式碼。下一步值得關注的是 IBM 是否會釋出更詳細的訓練資料混合比例（例如每個階段的完整資料清單），以及是否會推出針對特定產業（如金融、醫療）的微調版本。此外，其他開源社群也可能基於 Granite 4.1 進行再訓練或量化，讓它能在邊緣裝置上運行。對於想深入理解資料驅動模型設計的開發者來說，這份技術文章提供了很好的參考藍圖。