誰在打造歐洲最大的基礎大語言模型

俄羅斯聯邦儲蓄銀行（Sber）不只是該國最大的金融機構，近年更在生成式人工智慧領域展現強烈企圖心。如今，這家銀行已成為歐洲最大基礎語言模型的開發者，其最新旗艦模型GigaChat 3.5 Ultra也於近期正式亮相。這款模型的體積較前一版本大幅縮減將近一半，但在處理長文本時，生成速度最多可提升四倍，特別是在程式碼、數學運算以及智慧代理（AI Agent）場景的表現上更加穩定與可靠。 GigaChat 3.5 Ultra的核心技術亮點在於採用線性注意力機制（Linear Attention）作為基礎架構，這項技術目前已由Sber開源釋出。負責GigaChat基礎模型的技術總監費奧多爾·明金（Fyodor Minkin），在近期訪談中深入說明了團隊為何選擇這條技術路線，以及背後對於AI研發策略的整體思考。 明金指出，當模型需要處理長文本，例如一份長達100頁的合約時，整個文件內容必須在對話過程中持續保留在模型的記憶中。文本越長、使用者與模型的互動次數越多，記憶體的負擔就越重。每次新的請求，模型都得從頭重新處理整個上下文，這使得長文件的處理變得既緩慢又昂貴。線性注意力技術的優勢在於，它能讓模型一次性記住所閱讀內容的要點，並在後續工作中持續補充記憶，從而顯著提升長文本的處理效率。 儘管線性注意力能帶來速度與效率的躍升，但明金坦言，當初決定押注這項技術時，並非沒有風險。最大的不確定性在於，團隊無法確定在提升處理速度、縮小模型體積的同時，是否能維持模型的智慧水準與生成品質。為了解決這個問題，團隊進行了超過1500次的實驗，最終才找到正確的平衡點，推出目前開源領域中規模最大的線性注意力模型之一。 對於目前業界普遍追求更大規模的模型、更多參數與更強算力的趨勢，明金則提出不同的觀點。他認為，模型規模每向上提升一個層級，成本就會以不成比例的方式增加，到了某個臨界點，公司為了換取微小的品質提升，往往需要耗費鉅額資源。GigaChat 3.5 Ultra的體積雖然比上一代縮小近一半，但在多項評測指標上，已經接近規模遠比它龐大的開源模型，例如DeepSeek 3.2。這證明了只要架構設計與數據選擇得當，較小的模型完全有能力與大型模型競爭。 他進一步指出，當前AI產業正面臨一個重要的轉折點。今天，誰能透過精妙的工程技術，從現有資源中榨取出最大的價值，遠比單純追求模型規模更具關鍵性。對他而言，合理的擴張邊界，應該建立在審慎支配每一次運算的基礎上。 談到當前大型語言模型在成為真正可靠的自主智慧代理時面臨的瓶頸，明金認為限制不在於架構本身，而在於組織層面。自主智慧代理必須能夠獨立行動，執行程式步驟較長的任務，並在每一步做出決策、檢視自身行動、讀取外部訊號，並進一步規劃。這對模型的規劃能力、工具選擇、長上下文注意力以及自我評估結果的可靠性，都提出了極高的要求。 然而，在目前階段，許多企業內部的真實業務流程已經數十年未曾改變。明金強調，真正大規模的智慧代理應用，不會始於模型變得更聰明一點，而是始於企業開始重新審視工作模式本身。新技術需要新的角色與責任分配：哪些工作可以完全交給機器執行，哪些則必須保留人類的確認環節。 在模型訓練數據的品質控管上，明金表示，人工生成的數據仍然是模型品質的主要支柱，因為只有人工數據才能承載真正的專業經驗，以及人類思維中發現意外解決方案的鮮活多樣性。至於合成數據，他認為在需要精度與規模的場景中表現出色，例如訓練數學或程式碼的邏輯推理。但若合成數據取代人類成為世界知識的主要來源，模型就會開始從自身的反射中學習，導致錯誤與模式固化，最終讓生成的文本失去生氣。因此，Sber在新模型的訓練數據集中，特別側重了經過嚴格篩選的人工撰寫文本。 至於為何將旗艦模型開源，明金解釋，這既是競爭優勢，也是打造開發者生態系的必要條件。全球的獨立開發者社群能夠比單一內部團隊更快地分析程式碼、找出弱點並提出最佳化方案。這使得圍繞模型形成的工具與整合生態系統更加蓬勃發展，而Sber也能從中獲益。開源同時也是一種誠實證明模型實力的方式，任何人都可以對模型進行測試、複現結果，並驗證各項基準測試的正確性。隨著GigaChat 3.5的發布，Sber也公開了若干訓練檢查點，讓外界得以追溯模型從訓練初期到最終狀態的演化過程。 對於未來兩三年的技術發展方向，明金預測，Transformer架構不會在短期內消失，但變化已經開始顯現。線性注意力、稀疏注意力變體、以及混合專家（MoE）架構等新技術紛紛湧現。他認為，這些實際上是在舊地基上生長出的新一代架構，業界大部分將朝這個方向前進。同時，他也點出更具風險但值得關注的方向，例如擴散語言模型。這類模型並非逐詞生成文本，而是先一次性勾勒出整個片段，再精化細節，雖然目前品質仍有差距，但潛力巨大，有機會將長回應生成速度提升數倍。Sber內部已經展開相關實驗，近期也發布了一款實驗性模型GFusion，探索語言模型的擴散方法。值得一提的是，這個模型最初是由團隊中的一名實習生的專案發展而來，如今這名實習生也已正式轉為團隊的全職成員。