OpenAI發佈GeneBench-Pro，在129個問題/10個領域內評估AI科研能力

OpenAI 研究團隊近日發表了最新版本的科學推理評測基準 GeneBench-Pro，這項工具旨在評估人工智慧在真實科研場景中執行多階段統計分析的能力。不同於多數工程任務，科學研究充滿迭代、開放與不確定性，研究人員需要憑藉科學直覺與「研究品味」做出大量判斷，例如數據能否支撐某個問題、該納入哪些變數、選擇何種模型，以及診斷結果是否足以推翻初始假設。GeneBench 系列正是為此而設計，它不測試單點演算法表現，而是檢驗模型能否在完整的科學分析流程中完成「推理閉環」，包括數據理解、品質控制、方法選擇、統計建模、診斷修正與最終決策輸出。 在此基礎上，OpenAI 團隊進一步推出了 GeneBench-Pro，將評測範圍從原本的基因組學大幅擴展至分子與定量生物學、藥物基因組學、癌症生物學、微生物基因組學、臨床轉化等領域，這些領域都需要跨階段的統計推理。與前一版相比，GeneBench-Pro 新增了 29 個問題，刪除了 3 個問題，並對剩餘 100 個重疊問題中的 54 個進行了顯著重新設計，總題數達到 129 題，涵蓋 10 個主要領域與 21 個子領域。這些問題中，有 82 題經過了外部領域專家審查，專家們的反饋促使研究團隊修改提示與數據，並重新建構那些目標不可識別的問題。 每個問題都被封裝成一個獨立的科學分析任務。智能體被放置在一個隔離的工作環境中，獲得最小可行提示與分階段數據文件，以及標準的科學 Python 技術棧，包括 numpy、pandas、scipy、scikit-learn、statsmodels、lifelines 等通用計算庫，以及 PLINK 2.0、pysnptools、bedtools、pysam 等基因組生物資訊工具。提示僅給出科學問題與目標估計量，並未明確規定應執行的分析流程。數據文件模擬真實分析師從實驗檢測或臨床系統中取得的原始數據，而非經過清洗的玩具數據集。每個問題包含一系列相互依賴的決策節點，在任一階段做出錯誤選擇都會向後傳播，導致後續分析出錯，最終無法得到正確結果。 為了確保「失敗」真正代表科學錯誤而非基準設計的任意性，研究團隊採用構造性模擬問題，也就是完整的因果結構已知，並顯式模擬數據生成過程。他們透過「決策點數量」來量化級聯結構，在這些關鍵推斷分叉點上，合理但錯誤的選擇會使結果發生質變。每個問題從真實世界分析模式與目標估計量出發，這些模式來自文獻與領域專家經驗，刻意避免直接複現教科書或已發表論文中的標準案例，以防模型靠記憶解題。隨後透過模擬生成數據，使正確答案可從分階段數據中恢復，再構建最小可行提示。 研究團隊也進行了大規模驗證，針對不同推理階段中「看似合理但錯誤」的路徑進行消融實驗，並檢查結果是否與正確答案足夠區分。同時引入獨立科學審查，評估方法合理性、目標可識別性以及科學有效性。這些設計要求導出了主要基準約束，確保評測的嚴謹性。 一個具體的範例問題來自臨床基因組學的攜帶者篩查場景，模擬常染色體隱性遺傳病的攜帶者篩查。智能體被提供原始攜帶者篩查數據，需要估計在篩查結果為陰性之後仍然殘留的攜帶者風險，並將此殘餘風險與潛在生殖伴侶的人群攜帶者頻率結合。答案無法直接由原始攜帶率估計，正確分析必須依序完成多步推斷：首先識別可報告的攜帶者類別並區分拷貝數變異偽影，其次處理相位化的創始人標記，然後基於不同協變量估計檢測靈敏度與假陽性率，接著計算篩查陰性條件下的殘餘攜帶風險，最後將伴侶攜帶者頻率標準化到完整伴侶名單。這個範例體現了核心設計目標：智能體獲得最小可行提示與明確目標估計量，但成功與否取決於能否從數據中恢復完整的多階段定量分析路徑。 研究團隊在完整 129 個問題套件上評估了 60 種模型配置，包括 GPT-5.2、GPT-5.4、GPT-5.5、GPT-5.6 Luna/Terra/Sol 及其對應的 GPT Pro 變體，以及來自 Claude、Gemini、Grok、GLM、Kimi、DeepSeek、MiMo、騰訊、MiniMax 和 Qwen 等非 GPT 基線模型。結果顯示，整體通過率仍然偏低。在各 GPT 主線模型的最高報告推理強度下，未加權平均通過率從 GPT-5.2（xhigh）的 4.9% 提升至 GPT-5.4（xhigh）的 8.9%、GPT-5.5（xhigh）的 12.0%、GPT-5.6 Luna（max）的 16.5%、GPT-5.6 Terra（max）的 23.3%，以及 GPT-5.6 Sol（max）的 28.7%。單獨報告的 GPT Pro 運行結果則分別為：GPT-5.2 Pro 8.5%、GPT-5.4 Pro 16.3%、GPT-5.5 Pro 20.5%、GPT-5.6 Luna Pro 23.6%、GPT-5.6 Terra Pro 28.5%、GPT-5.6 Sol Pro 31.5%。非 GPT 模型的結果範圍約為 0.6% 至 16.0%，其中最強的非 GPT 基線模型是 Claude Opus 4.8，達到 16.0%。在 GPT 系列內部，提高推理強度帶來顯著影響，例如 GPT-5.6 Sol 從 none 的 3.7% 提升到 low 的 14.4%、medium 的 22.5%、high 的 24.4%、xhigh 的 26.8%，以及 max 的 28.7%。 儘管模型能力有所提升，但仍有大量問題未能解決。在 GPT 主線最佳模型中，「0% 通過率問題」的比例從 GPT-5.2 的 77.5% 下降至 GPT-5.4 的 67.4%、GPT-5.5 的 64.3% 以及 GPT-5.6 Sol 的 45.7%；而「至少 50% 通過率問題」的比例則從 1.6% 上升至 4.7%、8.5% 和 30.2%。這顯示即使在最強模型中，基準仍主要由高難度問題組成，但更強模型能夠將更多問題從「完全失敗」狀態推向部分成功或穩定成功。 研究團隊指出，GeneBench-Pro 的核心貢獻不僅在於建立一個新的生物學基準，更在於重新定義「科學智能體能力」的評價方式。從實驗結果來看，當前最先進模型已具備一定程度的局部科學能力，例如識別數據異常、理解統計信號或執行標準分析步驟，但這種能力尚未穩定擴展為端到端的科學分析能力，模型在「識別問題」與「採取行動」之間仍然存在明顯斷裂。從應用角度來看，這項能力的突破具有顯著價值，因為現代生命科學中從基因數據到靶點篩選、從統計信號到轉化決策的過程高度依賴專家團隊協作，且成本高昂。論文指出，一個 GeneBench-Pro 問題在無人工輔助情況下通常需要 10 到 40 小時完成，即便部分自動化也可能在工業研究中產生顯著經濟價值。然而，研究人員強調，目前模型仍無法可靠替代這一流程，原因在於無法穩定完成完整推理鏈條，未來提升方向可能包括更強的規劃能力、自我修正機制以及不確定性建模能力。 相關研究成果以「GeneBench-Pro: Evaluating Multistage Statistical Reasoning in Genomics, Quantitative Biology, and Translational Biomedicine」為題，已發布預印本於 bioRxiv。