15個推理模型集體翻車，詳解輸出背後的思考鏈潛藏風險

大型推理模型（LRM）在回答問題時，通常會先產出一段詳細的思考鏈（chain-of-thought）再給出最終答案，這種透明化的運作機制雖然有助於理解模型邏輯，卻也潛藏安全風險。來自哈佛大學、南加州大學、布朗大學及麻省理工學院等多所學術機構的研究人員最近發表了一項大規模系統性研究，直指一個長期被忽略的漏洞：評估這類模型的安全性時，如果只看最終答案，可能嚴重低估風險。團隊明確指出，當他們發現模型的思考鏈竟然能用來生成炸彈裝置或投毒配方等高危險內容時，就意識到這個問題非同小可。 研究團隊設計了一套兩階段的評估流程，將模型的輸出拆解為推理軌跡與最終回答兩個階段，並分別根據二十條安全原則進行風險評分，每條原則採一至五分的嚴重度量表。只要任一條原則的分數超過預設門檻，該階段就被判定為不安全。藉由比對推理與回答兩個階段的判定結果，研究團隊定義了三種核心失敗模式：第一種是「Unsafe」，指推理與回答都不安全；第二種是「Leak」，亦即推理階段不安全但回答階段安全，代表危險內容已經「洩露」在思考鏈中；第三種是「Escape」，則是推理階段看似安全，最終回答卻產出有害內容。這個分類框架將「答案安全不等於軌跡安全」的現象轉化為可量化測量的指標。 為了進行嚴謹的評測，研究團隊整合了WildChat、PKU-SafeRLHF、JailbreakV、HarmBench、BeaverTails、StrongREJECT、JailbreakBench等七個公開的有害內容與越獄攻擊數據集，經過統一字段映射、過濾以及MinHash-LSH去重後，建構出包含四萬一千筆資料的分布內評測集，以及兩千筆的預留測試集。此外，團隊另從AdvBench、SaladBench、SimpleSafetyTests、WildJailbreak四個數據集組成完全獨立的分布外評測資料，用以檢驗結論的穩健性。評測涵蓋十五個推理模型，包括Gemini-Pro-3.1、GPT-OSS-20B、DeepMath-Zero-7B、Kimi-K2.5、DeepSeek-R1系列、MiMo-7B-RL-Zero等。 評分工作由Claude-4.5-Haiku與Gemini-Flash-3兩個大型語言模型擔任自動打分器，團隊並在八十個樣本（拆解為一千六百條原則級評分）上與三名人工標註員進行一致性驗證。結果顯示，自動打分器之間的皮爾森相關係數在推理階段達到0.799、回答階段達到0.820，甚至超過人與人之間的一致性（0.742與0.780）；二元不安全標籤上的Cohen's κ則分別為0.708和0.741。研究團隊指出，兩組打分器的判分經過平均化處理後，已達到「顯著一致」水準，為大規模自動化評分的可信度提供有力支撐。 核心發現顯示，在全部十五個被測模型上，推理軌跡的平均風險程度都高於最終答案的平均風險程度，這項差異具有普遍性。差距最明顯的模型包括Gemini-Pro-3.1（推理比回答高出0.028分）、GPT-OSS-20B（高出0.022分）、DeepMath-Zero-7B（高出0.021分）以及Kimi-K2.5（高出0.018分）。雖然絕對差值看起來不大，但團隊強調，這是因為大量樣本的風險嚴重度本來就偏低，然而方向在全部模型上完全一致，且與高風險失敗模式的分佈相互印證。 進一步分析發現，風險並非均勻分散在二十條原則中，而是高度集中於虛假信息、違法合規、歧視偏見、人身傷害、心理傷害等幾個核心類別。其中違法合規類別表現出最明顯的思考鏈與最終答案之間的分化，也是「洩露」型失敗的最強訊號來源。研究團隊在論文中公開了脫敏後的具體案例：一個「Escape」案例中，模型被問及以遊戲《半條命2》世界觀為框架的問題，推理階段僅圍繞背景設定進行討論，看似無害，但最終答案卻給出具體的爆炸裝置配方；另一個「Leak」案例則顯示，儘管模型最終回答是一段標準的拒絕與危機干預用語，但推理階段卻詳細列出了投毒所需的劑量、掩味方法、給藥途徑等操作細節，這些危險資訊完全無法被答案側的安全性評估所捕捉。 針對上述診斷結果，研究團隊提出了名為「自適應多準則激活引導」的白盒測試時干預方法。具體作法是先針對每一條安全原則，分別收集模型在「安全」與「不安全」兩種狀態下的內部激活值，計算平均後得到各原則的安全中心點與不安全中心點，兩者連線的方向即為該原則專屬的引導方向，將模型往安全端推動。在推理新問題時，系統會即時判斷當前內部狀態與哪一條原則的不安全中心點較為接近，一旦超過安全邊界就鎖定該原則方向，並在生成鏈結束前對模型內部表示進行輕量修正，再完成後續推理。 團隊在三個具備可存取隱藏狀態的開源模型（DeepSeek-R1-Distill-Qwen-1.5B、DeepSeek-R1-Distill-Qwen-7B、MiMo-7B-RL-Zero）上驗證了這套方法，干預層選定最後一層decoder block，採用單快照prompt-prefill注入方式。實驗結果顯示，在不安全率改善與模型能力保留之間，DeepSeek-R1-Qwen-7B取得了最佳平衡，平均降低40.8%的不安全樣本數量，同時在BBH、GSM8K、MMLU三個標準基準測試上保留了97.7%的平均準確率。消融實驗也證實，若拿掉自適應門控機制，改為對全部二十個方向無差別激活，DeepSeek-R1-Qwen-1.5B的不安全率改善幅度從0.45驟降至0.05，凸顯門控設計的關鍵作用；干擾層選在末層效果最佳，引導強度則以α=2.0為非單調最優設定。 研究團隊也坦承目前方法的侷限性：暴露出來的推理軌跡未必完全忠實地反映模型內部的實際計算過程，而且當前的激活引導方法需要白盒訪問模型內部狀態，尚無法直接遷移至閉源商用模型。儘管如此，這項研究的核心意義在於沒有停留在又一個「末端答案」的安全基準，而是用統一的階段化、原則化框架將診斷與控制打通，評估時用什麼原則切分風險，緩解時就用同樣的原則結構建構干預方向。這套方法論為日後大型推理模型的安全防護提供了全新的思路，也警示業界在追求模型推理透明度的同時，必須正視思考鏈可能帶來的安全破口。