Anthropic 揭示“AI 訓練 AI”新方法，比人類研究員成本更低、速度更快

作者：清源 責編：清源 評論： 8 月 29 日消息，用 AI 模型訓練其他 AI 模型，正成為新一代 AI 實驗室重點探索的方向。當地時間 28 日，Anthropic 研究員計劃的一名研究人員展示了這種思路真正落地後可能呈現的樣子。Anthropic 發佈了最新論文《自動化研究員能夠可靠緩解對齊失效》，介紹如何利用 AI 系統改善模型在一系列對齊基準測試中的表現。研究團隊針對 10 種具體的失調行為設置測試，自動化系統最終讓全部 10 項指標都有所改善，同時沒有犧牲模型的整體能力。這套系統由 Anthropic 研究員計劃成員陳嶽翰（音譯）領導開發，工作流程與傳統科研相似。

自動化系統會先查閱已有文獻，提出訓練方法，再按照方案訓練模型 30 分鐘，並通過多輪嘗試逐步提高測試成績。有效方案會留下，無效方案則被淘汰，使整個研究過程能夠快速擴大規模。論文指出，總體來看，這些結果初步證明，自動化對齊後訓練有望在近期成為一種真正可行的方法。這項研究也向遞歸自我改進邁出了一步，而許多人把遞歸自我改進視為 AI 發展的下一個重要階段。如果 AI 模型能夠改進自身的對齊訓練方法，那麼進一步改進更廣泛的訓練流程也並非沒有可能。到了那一步，人類 AI 研究人員甚至可能逐漸失去存在的必要。

論文也直接比較了自動化對齊研究員（AAR）和人類研究人員的表現：“最優秀的 AAR 方法平均只需 6 小時，就能超過經驗豐富的人類研究人員提出的方案。人類引導的研究方向，並不會導致更強的表現。”成本差距同樣明顯。“AAR 每小時只需要大約 4 美元（注：現匯率約合 27 元人民幣）的 API 推理成本，而我們支付給人類研究人員的費用是每小時 150 美元（現匯率約合 1,011 元人民幣）。”不過這套方法仍有明顯限制。自動化系統的效果首先取決於基準測試能否準確反映真正的對齊目標，即使測試本身可靠，建立和長期維護這些基準仍需要大量投入。自動化研究員依賴的研究文獻同樣需要持續維護和擴充。

參考Automated researchers can reliably mitigate alignment failures廣告聲明：文內含有的對外跳轉鏈接（包括不限於超鏈接、二維碼、口令等形式），用於傳遞更多信息，節省甄選時間，結果僅供參考，包含外鏈的文章均包含本聲明。

投訴水文 我要糾錯 下載APP，簽到賺金幣兌豪禮 相關文章關鍵詞：AnthropicAnthropic 安全框架自動降級：Claude 誤刪開發者 700 GB 主目錄，自動化清理反成災難消息稱 Meta 一度預計今年要在 Anthropic 服務上花 100 億美元美國加州聯邦法官裁定 Anthropic 在與美國國防部等的訴訟中勝訴Anthropic 更新 Claude 記憶機制，打通 Cowork 與聊天的記憶功能應對安保人員罷工傳聞，Anthropic 要求舊金山員工居家工作衝擊全球最大 IPO：曝 Anthropic 招股書把美國公眾對 AI 的抵制情緒列為關鍵風險