00後碩士揭開AI推理“黑科技”：兩個Token，基模追平強化學習版本

作者 | 楊京麗 編輯 | 李水青 10月10日報道，一項來自麻省理工學院（MIT）等機構的研究發現，只要固定基礎模型回答開頭的兩個Token，就能讓模型的數學推理成績接近對應的強化學習版本。以艾倫人工智能研究所（Ai2）的基礎模型Olmo-3-7B為例，將回答固定為“.\n\nOkay”開頭後，模型在MATH-500上的準確率從42%升至78%，超過其強化學習版本的75%。這個過程沒有修改模型參數，也沒有給模型增加新的解題示例。模型只是換了一個回答起點，原本沒有穩定表現出來的解題能力，似乎就更容易被調用出來。換句話說，基礎模型答錯題，有時不一定是完全不會做，而是沒有進入能夠解題的狀態。

強化學習的一部分作用，可能正是讓模型更容易選擇這種有效的回答開頭。這一發現來自論文《基礎模型可以藉助訓練數據中的線索進行推理（Base Models Can Reason By Taking a Cue From Training Data）》。論文於10月5日提交，由MIT、加州大學伯克利分校、華盛頓大學和艾倫人工智能研究所的研究者共同完成。論文第一作者是麻省理工學院碩士生索菲·L·王（Sophie L.Wang）和加州大學伯克利分校博士生阿米爾·德拉維德（Amil Dravid）。

索菲·L·王目前仍是MIT的碩士生，她從2023年進入MIT本科，2026年進入MIT碩士，目前她已先後在ICML和NeurIPS上發表研究成果。論文鏈接： https://arxiv.org/abs/2610.06851 項目鏈接： https://www.sophielwang.com/cues 開源地址： https://github.com/sophicle/cues 一、回答開頭只改兩個token，基礎模型準確率追平強化學習版本 論文將模型回答拆分為“開頭token線索”和後續生成內容兩部分。研究者通過預先固定回答開頭，觀察不同開頭如何改變模型接下來的生成結果。

他們首先觀察Olmo-3-7B在MATH-500上的回答。正確答案中，約有50%的回答以“.\n\n”（句號加兩個換行）開頭，錯誤答案中這一比例只有14%。句號和換行本身沒有提供數學知識，卻與正確率出現了明顯關聯。研究者隨後從模型可能生成的回答開頭中尋找有效線索。他們先用搜索方法找出基礎模型較可能生成的短開頭，再讓模型從每個開頭繼續回答，比較多次採樣結果的一致性。對Olmo-3-7B，最終選中的開頭是“.\n\nOkay”；對Qwen3-14B，選中的是“ Alright,”。研究者把這些文字預先填入模型回答，再讓模型自行生成後續內容。

在MATH-500上，Olmo-3-7B基礎模型自行生成回答開頭時，其準確率約為42%；將回答開頭固定為“.\n\nOkay”後，準確率升至約78%，高於其強化學習版本約75%的成績。Qwen3-14B使用“ Alright,”作為回答開頭後，準確率則從72%提高到87%，與強化學習版本持平。相同開頭還被用於GSM8K、AMC 23、AIME 2024等數學測試，在多數測試中都能帶來提升。在代碼生成測試HumanEval上，固定開頭提高了Olmo-3-7B的成績；Qwen3-14B的成績則與不固定開頭時相近。論文中展示了一道具體題目的生成差異。

題目較為簡單，要求計算834名學生佔全校人數三分之二時，全校共有多少名學生。當模型以“.\nAnswer”開頭時，它直接給出“1002”，答案錯誤；當模型以“.\n\nOkay”開頭時，它先列出“（2/3）×T=834”，計算出1251，隨後又主動檢查結果，確認計算沒有問題。設置新開頭後，模型給出了正確的答案，生成過程中，模型沒有獲得額外提示，也沒有更換參數，僅修改了回答開頭。二、從14%升至65%，強化學習先改變模型的回答開頭 如果基礎模型在固定開頭後已經能達到接近強化學習模型的成績，強化學習究竟改變了什麼？研究者採用RL-Zero設置，讓模型直接根據自己生成答案的對錯獲得獎勵。

比較強化學習前後的模型後，他們發現，兩者預測分佈的最大差異集中在回答最開始的兩個token。對Olmo-3-7B，強化學習將“.\n\nOkay”的生成概率從0.14提高到0.65；對Qwen3-14B，“ Alright,”的生成概率從0.04提高到0.58。強化學習前後，模型的預測差異主要集中在回答最開始的兩個token，之後差異明顯減小。研究者還把強化學習模型已經生成的回答開頭交給基礎模型，讓基礎模型從相同位置繼續回答。Olmo-3-7B在這種條件下可以達到強化學習模型的準確率。

訓練曲線顯示，預先固定有效開頭後，Olmo模型的成績大約相當於標準強化學習訓練100步後的水平，Qwen模型則相當於約50步後的水平。這說明，在這組實驗中，強化學習的一部分作用可能是提高模型選擇有效推理開頭的概率，讓它更容易進入原本已經存在的推理路徑。研究者還控制了回答長度。部分開頭會讓模型寫出更長的回答，但準確率仍低於不固定開頭的結果；在相同token預算下，“.\n\nOkay”仍保持優勢。因此，成績提升不能只用回答變長來解釋。三、訓練數據改寫詞語關聯，“Chicken”也能誘導推理 “Okay”為什麼有效？

它可能符合人類開始思考時的表達習慣，但研究者希望進一步確認，效果是否來自訓練數據中反覆出現的詞語關聯。他們將Olmo模型中期訓練數據裡與推理軌跡共同出現的“Okay”替換為“Chicken”，再從相同檢查點繼續訓練。測試時，模型都被固定為以“.\n\nChicken”開頭。在原始基礎模型中，固定“.\n\nChicken”後的MATH-500準確率約為18%，低於不固定開頭時的42%。重新訓練後，模型則會沿著推理文本的模式繼續生成，準確率升至77%，接近“.\n\nOkay”開頭的78%。在使用10B-token中期訓練數據的重訓實驗中，固定“.

\n\nChicken”後，MATH-500準確率從2.4%升至37.2%；在使用100B-token數據的另一組實驗中，準確率則從18.2%升至76.9%。兩組實驗的數據規模不同，但都說明，重新建立“Chicken”與推理文本之間的訓練關聯後，這個詞才具備了推理線索的作用。修改後的模型也沒有忘記Chicken的日常含義。面對“A chicken is a”或“She roasted the chicken”這樣的句子，它仍然可以生成與鳥類或食物有關的內容。研究者還將訓練數據中的“step by step”替換成“duck duck goose”。

重新訓練後，“Think duck duck goose”也能像“Think step by step”一樣誘導模型推理。隱藏狀態分析顯示，不同開頭會把模型帶向不同類型的訓練文本。“.\n\nOkay”更接近合成推理軌跡，“To”更接近解釋型數學文本，“Answer”則更接近簡短問答文檔。研究者還發現，線索越早出現在回答中，產生的影響越持久；等到第三至第六段才插入“Okay”，效果會明顯下降。四、修改回答開頭，模型可能拒絕請求 此外，研究者還把同樣的方法用於安全測試中，觀察不同回答開頭會如何影響模型拒絕或遵從請求。

在Olmo-3-7B中，以“I’m sorry”開頭的回答更容易拒絕請求，但也會增加對無害請求的誤拒絕；“Okay,”會減少拒絕，並增加模型對危險請求給出有害內容的概率。數學實驗中有效的“.\n\nOkay”則呈現出另一種效果：模型會更多拒絕危險請求，同時減少對正常請求的誤拒絕，表現出更有選擇性的拒絕行為。論文還發現，僅僅改變空格、標點和換行方式，就可能帶來不同結果。“Okay,”和“.\n\nOkay”看起來很接近，但前者可能成為更容易遵從危險請求的開頭，後者則更接近先分析、再決定是否拒絕的回答模式。這說明，回答開頭對模型行為的影響並不侷限於數學推理，也涉及拒答、安全等問題。

結語：模型能力和穩定發揮之間，還隔著一個“開頭” 通過這篇論文可以發現：模型答錯題，有時不代表它完全不會做，也可能是沒有進入正確的思路。對Olmo-3-7B來說，只是在回答開頭加上“.\n\nOkay”，準確率就從約42%提高到了78%。“Chicken”的實驗則說明，詞語能起什麼作用，和它在訓練數據中經常跟什麼內容一起出現有關。經過重新訓練後，“Chicken”也能引導模型一步步解題。模型記住的可能不只是詞語本身，還包括這個詞通常會帶來什麼樣的回答。因此，在實驗條件下，預先固定有效的回答開頭，都可能幫助模型進入更適合解題的狀態。

不過，需要注意的是，實驗測試的模型主要為Olmo-3-7B和Qwen3-14B，無法確定在其他模型上是否能產生類似的效果。這種方法是否有效，還要看具體模型和任務。這一方法雖然在一定程度上能夠提高準確率，但想讓模型面對不同問題和不同表達時都能穩定回答，仍然需要高質量的訓練數據和充分的模型訓練。