決策模型殺到GPT-6身後！只差3分，速度快40倍、成本僅1/15

編譯 | 黃菲 編輯 | 江宇 11月9日消息，昨日，AI模型評測機構Artificial Analysis更新AI決策模型評測榜單Artificial Analysis Decision Index v2（以下簡稱Decision Index v2），專業決策模型Drex Max v1.1、GLiDE v1.2均獲得73分，並列第一，Mammoth 27B以72分緊隨其後，三款模型得分僅相差1分。在納入通用語言模型的排行榜中，Anthropic模型Claude Haiku 5.

5（Max）和OpenAI模型GPT-6 Luna（Max）分別獲得77分和76分，包攬榜單前兩名，前三名的專業決策模型僅落後得分最高的通用語言模型3至4分。通用語言模型雖然在綜合得分上領先，但其使用成本和任務耗時也明顯更高。其中，Claude Haiku 5.5（Max）在榜單所列模型中最高，每百萬項任務達到6240美元（約合人民幣4.19萬元），約為榜單內並列第一的最佳專業決策模型Drex Max v1.1的61倍，單項任務耗時是其119倍；GPT-6 Luna（Max）每百萬項任務的成本達到1530美元（約合人民幣1.03萬元），是Drex Max v1.

1的15倍，單項任務耗時約為後者的40倍。但專業決策模型的使用成本並非都很低，其模型之間也存在明顯的差異。每百萬項任務中，成本最低的專業決策模型Celeris-1.1 Decision僅需14美元（約合人民幣94元），而成本最高的Clef則需要859美元（約合人民幣5772元），兩者相差超過60倍。不過，這種成本差異不僅與模型本身有關，也受到具體調用方式的影響。以GLiDE v1.2為例，該模型在處理每道題時，都需要重新輸入整份文檔並計算輸入成本，無法在同一份文檔的多道題之間複用輸入內容。因此，其每百萬項任務的成本達到780美元（約合人民幣5242元），約為Drex Max v1.1的7.

6倍。一、三款專業決策模型得分僅差1分，頭部競爭趨於激烈 在Decision Index v2的專業決策模型排名中，AI決策技術公司Nace AI的模型Drex Max v1.1和AI研究團隊Fastino Labs的模型GLiDE v1.2均獲得73分，並列第一；AI研究團隊Baseten的模型Mammoth 27B獲得72分，排名第二。三款模型的得分僅相差1分，頭部專業決策模型在綜合評測中的表現已經十分接近。若將通用語言模型納入比較，Anthropic模型Claude Haiku 5.

5（Max）以77分排名第一，OpenAI模型GPT-6 Luna（Max）獲得76分，分別比專業決策模型榜首高出4分和3分。▲Artificial Analysis Decision Index v2模型綜合得分榜單，來源：Artificial Analysis 此次該榜單更新的一項重要變化，是Artificial Analysis調整了評分方式，將所測模型對答案的置信度納入決策得分（Decision Score）的計算。每道題的得分為0至100分，答對時得分高於50分，答錯時低於50分。模型答對且對自己的判斷有把握，會獲得更高分數；如果模型對自己的答案很有把握卻答錯，受到的懲罰也越大。

這一評分機制也考慮了決策模型在實際應用中的工作方式。通常，模型只有在置信度達到一定閾值時，答案才會被直接採用；如果置信度不足，任務就會轉交給人工或能力更強的模型處理。決策得分則綜合計算不同置信度閾值下的預期收益。具體到每道題，其得分公式為：50×(1+c−(p−c)²) 其中，p代表模型為所選答案分配的概率，c代表答案是否正確，答對時c=1，答錯時c=0。彙總整個測試集後，該公式等價於：50×(1+Accuracy−Brier Score) 其中，布里爾評分（Brier Score）用於衡量模型給出的答案概率與實際結果之間的差距，分數越低，說明模型的置信度校準越準確。

從專業決策模型榜單的布里爾評分來看，模型Elephant 9B、Clef-Omni、Drex Max v1.1和Drex 2.0並列第一，均為0.16；其餘多數模型的布里爾評分集中在0.17-0.20左右；其中模型Clef、Mercury Decide置信度校準表現相對較弱，分別為0.23與0.26。

▲Decision Score將答案正確性與置信度校準納入統一評分機制，來源：Artificial Analysis 在測試集方面，Decision Index v2共整合6項評測，包括AA-Paperclip、EvalSafe-O NET-AA、AA-Omniscience-Decision v1.1、HLE-MultiChoice v1.1、AA-Symmetry和When2Call，分別考察文檔決策與信息提取、職場文檔判斷、知識掌握與避免錯誤信息、推理、答案一致性以及工具調用能力。其中，新增的AA-Paperclip佔總評分的30%，AA-Symmetry佔15%。

此外，Artificial Analysis將私有數據集在總評測中的佔比從25%提高至45%；AA-Omniscience-Decision和HLE-MultiChoice的權重均從25%降至15%，When2Call的權重則從25%降至10%。由於WildGuardTest測試集的飽和度較高，該項目被移出新版榜單。AA-Paperclip包含1500份文檔，涵蓋簡歷、收據、發票，以及AI和機器學習研究論文。每份文檔包含5道決策題和10道事實提取題，模型必須全部答對才能通過測試。在這一測試中，Claude Haiku 5.

5（Max）的文檔整體通過率為92%，GPT-6 Luna（Max）為86%，均高於表現最好的專業決策模型Drex Max v1.1（63%）。具體來看，Drex Max v1.1的失分更多集中在決策環節。雖然其單項答案正確率達到97%，與Claude Haiku 5.5（Max）的99%接近，但Drex Max v1.1僅在71%的文檔中答對了全部5道決策題，在88%的文檔中正確提取了全部10項事實，從而拉低了其整體文檔通過率。

▲不同AI模型在AA-Paperclip真實文檔測試中的通過率對比，來源：Artificial Analysis 另一項測試AA-Symmetry則考察模型面對不同措辭的等價問題時，能否保持判斷一致。該測試包含120道基礎問題，共設置440種不同表述形式。Artificial Analysis通過調整選項順序、交換選項標籤，以及將是非題改寫為否定問法等方式，檢驗所測模型是否會因為問題表達方式發生變化而改變答案。在這一測試中，專業決策模型Mammoth 27B（96分）、Elephant 9B（93分）領先其餘模型。

具體來看，模型Mammoth 27B在99%的問題中能夠保持不同表述下的答案一致，而決策模型Clef僅為67%。Artificial Analysis提到，部分模型在這一測試中的優勢與較高的棄答率有關。面對不確定的問題，這些模型更傾向於承認自己不知道，並在不同問題表述下保持這一判斷，從而獲得更高的一致性得分。▲不同AI模型在AA-Symmetry測試中的答案一致性表現，來源：Artificial Analysis 二、通用語言模型得分更高，成本和任務耗時也同步增加 如果只看Decision Index綜合得分，通用語言模型仍然佔據優勢。

在通用語言模型中，Anthropic模型Claude Haiku 5.5（Max）獲得77分，OpenAI模型GPT-6 Luna（Max）獲得76分，分別比與此次評測中表現最好的專業決策模型Drex Max v1.1、GLiDE v1.2的73分高出4分和3分。但這種性能優勢卻伴隨著更高的使用成本和更長的任務處理時間。按測評時通用語言模型以輸入和輸出Token計費，GPT-6 Luna（Max）完成每百萬項任務的成本達到1530美元（約合人民幣1.03萬元），是最佳專業決策模型之一的Drex Max v1.1（102美元（約合人民幣681元））的15倍；完成單項任務需要11.

34秒，也約為Drex Max v1.1（275毫秒）的40倍。Claude Haiku 5.5（Max）的任務成本更高，完成每百萬項任務需要6240美元（約合人民幣4.19萬元），單項任務耗時達到32.65秒，是最佳專業決策模型之一的Drex Max v1.1的61倍，單項任務耗時是後者的119倍。相比之下，專業決策模型Celeris-1.1 Decision的單項任務耗時僅為56毫秒，是此次榜單中速度最快的模型。此外，專業決策模型Mammoth 27B的綜合得分與通用語言模型GPT-6 Luna（Max）僅相差4分的同時，任務處理速度卻快了118倍。

▲不同AI模型完成單項決策任務的耗時對比，來源：Artificial Analysis 整體來看，在相差不大的綜合得分上，專業決策模型能夠以更低的成本和更短的響應時間完成特定任務。三、專業決策模型成本相差超60倍，調用方式影響實際支出 在每百萬項任務的成本方面，專業決策模型之間的差距超過60倍。按照評測時專業決策模型以輸入Token計費，其決策模型在完成每百萬項的任務中，Celeris-1.1 Decision的成本最低，為14美元（約合人民幣93元）；Decider v1.2為68美元（約合人民幣454元）；Drex Max v1.1為102美元（約合人民幣681元）。

這三款模型均處於Decision Index得分與任務成本的帕累託前沿，即在當前成本水平下，難以找到得分更高的模型，或在相近得分下找到成本更低的模型。相比之下，專業決策模型Clef的每百萬項任務成本達到859美元（約合人民幣5736元），是專業決策模型Celeris-1.1 Decision的61倍以上。▲不同AI模型每百萬項任務的成本及性能對比，來源：Artificial Analysis 不過，決策模型的實際使用成本並不只取決於Token單價，還與其處理任務的方式有關。Artificial Analysis提到，大多數專業決策模型，包括Drex Max v1.1和Decider v1.

2，在處理同一份文檔中的多道題時，只會對文檔輸入內容計費一次。而GLiDE v1.2和Decider Flash v1.2則會針對每道題分別調用模型，每次調用都重新計算整份文檔的輸入成本。以AA-Paperclip測試為例，專業決策模型GLiDE v1.2處理每項任務平均需要約6.3萬個輸入Token，而專業決策模型Drex Max v1.1只需要約9000個。由於重複計算文檔輸入，最終任務成本明顯更高。因此，專業決策模型GLiDE v1.2每百萬項任務的成本達到780美元（約合人民幣5208元），接近專業決策模型Drex Max v1.1的8倍，但前者的Token標價僅比後者高出33%。

專業決策模型Decider Flash v1.2也存在類似情況，其每百萬項任務成本為196美元（約合人民幣1309元），接近專業決策模型Decider v1.2的3倍，但其Token單價只有後者的一半。結語：小模型比拼轉向成本與執行效率 從此AI決策模型的測評榜單可以看到，頭部專業決策模型的得分已經十分接近，但部分專業決策模型模型在特定任務中能夠以遠低於通用語言模型的成本完成工作。儘管通用語言模型仍然在綜合得分上領先，但在成本和響應速度方面，專業決策模型已經展現出明顯優勢。來源：Artificial Analysis