Liquid AI 開源 Antidoom：一種降低推理模型「死循環」的最終令牌偏好優化（FTPO）方法

Liquid AI 近日宣布開源一項名為「Antidoom」的全新方法，專門針對大型語言模型在推理過程中常見的「死循環」（infinite loop）問題提出解決方案。這項技術透過最終令牌偏好優化（FTPO）機制，有效降低模型重複輸出相同片段的機率，尤其對小型推理模型在處理複雜數學與程式題目時特別有幫助。研究團隊已在自家 LFM2.5-2.6B 模型上進行驗證，結果顯示死循環比例從 10.2% 顯著下降至 1.4%，同時整體評估分數也全面提升。 所謂「死循環」，指的是推理模型在生成回答時，先輸出一段內容，然後不斷重複該段落，直到把上下文視窗全部填滿為止。這種情況通常發生在模型面對需要長鏈思考的困難問題時，尤其是參數量較小的模型更容易陷入重複模式。對開發者來說，這不僅浪費計算資源，也讓輸出無法使用，成為部署推理模型時的一大痛點。過去雖然有各種截斷或懲罰重複的後處理方法，但往往治標不治本，無法從訓練層面根本解決。 Liquid AI 提出的 Antidoom 方法跳脫了傳統思路。研究人員觀察到，死循環的起點往往來自模型在生成第一個循環起始令牌時，機率分布過度集中於某個特定路徑。與其全面重新訓練整個模型或對所有重複行為施加懲罰，Antidoom 選擇只針對這第一個關鍵令牌進行重新訓練。透過最終令牌偏好優化（FTPO），模型學會將機率分散到多個連貫且合理的替代方案上，而不是沿著單一重複的路徑前進。這種精準介入的方式，大幅降低了訓練成本，也避免了對模型其他能力的負面影響。 在技術實作上，FTPO 是一種基於偏好學習的微調策略。傳統的監督式微調會直接告訴模型「正確答案是什麼」，但對於死循環這種動態生成的錯誤模式，很難事先標註所有錯誤路徑。FTPO 的做法是讓模型在生成結束後，根據最終輸出是否陷入循環來定義偏好：如果生成過程中出現重複片段，則該路徑被視為「非偏好」；如果生成流暢且無重複，則視為「偏好」。模型便透過這種對比學習，調整第一個循環起始令牌的機率分布，使其傾向於選擇不會導致循環的後續發展。 實驗結果相當具體。Liquid AI 在 LFM2.5-2.6B 模型的早期檢查點上進行測試，該模型參數約 26 億，屬於小型推理模型。在面對困難數學證明題與程式碼生成任務時，原始模型有 10.2% 的生成結果出現死循環。經過 Antidoom 訓練後，這個比例驟降到 1.4%，降幅超過 86%。更值得注意的是，模型在其他評估指標上的分數不僅沒有衰退，反而全面提升——研究人員指出，這些提升完全歸因於死循環的減少，因為過去被循環浪費的輸出現在能夠產出有效內容，自然拉高了整體正確率。 Liquid AI 選擇將 Antidoom 開源發布，意味著學術界與開發者社群都可以直接使用這套方法來改善自己的推理模型。對開源模型的生態來說，這是一項相當實用的貢獻。許多小型開源模型在推理能力上本就不如大型封閉模型，如果又容易陷入死循環，實用性會大打折扣。透過 Antidoom，開發者可以在不增加模型參數、不改變架構的前提下，顯著提升模型輸出的穩定性與可用性。研究團隊也提供了完整的程式碼與訓練範例，方便社群快速複製實驗結果。 從更宏觀的角度來看，Antidoom 反映了一個趨勢：隨著推理模型愈來愈強調「思考鏈」與「逐步推理」，模型在生成過程中的自我校正與避免陷入局部重複成為新的挑戰。過去業界多把注意力放在模型的知識正確性與流暢度上，但對於推理過程中出現的結構性錯誤——比如無窮循環——著墨較少。Liquid AI 的這項工作填補了這個缺口，並且提出了一種輕量級、高效率的解決方案。 值得注意的是，FTPO 方法的設計理念與近年流行的直接偏好最佳化（DPO）有相似之處，但目標更為聚焦。DPO 通常用於調整模型輸出的風格、安全性或事實性，而 FTPO 則是專門針對循環行為。這種專一性讓訓練流程更加簡潔，所需資料量也相對較少——只需要一批帶有死循環標記的生成樣本即可。Liquid AI 建議，在訓練推理模型時，可以在常規監督微調之後，再加入一輪 Antidoom 微調，就能獲得顯著的改善。 目前，Liquid AI 已經在 GitHub 上公開了相關程式碼與模型權重。開發者可以根據自己的模型架構與任務類型，調整超參數後直接套用。研究團隊也計劃在未來進一步探索 FTPO 在其他類型的重複錯誤（如重複詞彙、句式模板化）上的應用，並考慮與其他偏好最佳化方法結合。隨著開源社群的協作，這項技術有望被整合進更多主流推理框架中，成為解決模型生成品質不穩定的標準工具之一。 對於關注 AI 開源進展的讀者來說，Antidoom 不僅是一項技術突破，更代表著一種務實的工程思維：不追求全面翻新架構，而是深入分析失敗模式，用最精簡的修改換取最大的效益。在模型參數量不斷成長的同時，如何讓每個參數都發揮效用，避免資源浪費在無意義的重複輸出上，將是未來 AI 落地應用能否順利的關鍵之一。Liquid AI 的這一步，為這個問題提供了一個相當具體且可操作的答案。