76%的性能提升與模型無關？Karpathy 700次 Loop 實驗揭開Agent最大誤區

知名 AI 專家、前 Tesla AI 總監 Andrej Karpathy 近期公開一項名為「Loop 實驗」的測試結果，在反覆執行 700 次後發現，高達 76% 的效能提升並非來自模型本身的升級，而是源自模型之外的流程設計與運作機制。這項發現直接點出當前 AI Agent 開發過程中一個普遍存在的盲點：團隊往往急於要求 Agent 一步到位，卻忽略了真正的效能瓶頸其實藏在模型之外。 Karpathy 的實驗設計相當樸素卻極具說服力。他讓同一個 Agent 在不同的執行條件下反覆運行 700 次，逐步調整各種外部參數與操作流程，再比較最終任務完成度的差異。結果顯示，當開發者過度聚焦於更換或強化底層模型時，反而容易忽略 Agent 與環境之間的循環回饋、任務拆解方式以及提示策略等關鍵變數。這些「非模型」環節的調整，即便不改變模型架構，也能帶來顯著的效能躍進。 換句話說，Agent 的表現好壞往往不取決於模型有多強，而在於如何運用與迭代。Karpathy 的 Loop 實驗資料清楚呈現：76% 的效能成長來自於「如何呼叫模型」以及「如何處理模型回應」的循環過程，而非模型參數的更新或更換。這意味著，業界長期以來將大量資源投入在模型能力的競賽上，可能只觸及了問題的一小部分。 以具體的開發場景為例，許多團隊在設計 AI Agent 時，傾向於先選定一個強大的語言模型，然後直接編寫單次呼叫的指令，期待模型能一次完成複雜任務。然而實際運作中，Agent 往往需要多次與環境互動、根據回饋調整行動、拆解子任務逐步執行。每當模型無法一次到位，開發者便誤以為是模型能力不足，轉而尋找更強的新模型，卻忽略了是當下的互動流程設計出了問題。 Karpathy 的實驗揭示了另一個容易被低估的因素：提示策略的動態調整。在同一個模型下，僅僅改變提示的結構、加入少量範例、或根據中間結果動態修正後續提示，就能讓任務成功率大幅攀升。這些操作完全不涉及模型訓練或微調，卻能帶來 76% 的相對效能提升。換言之，模型的外圍工程——包括任務拆解、回饋循環、上下文管理——才是當前 Agent 效能的主要成長動能。 這項發現為 AI Agent 的設計與部署提供了重要提醒：與其執著於一步到位的完美模型，不如轉而重視系統架構中的循環最佳化。所謂「循環最佳化」，是指建立能夠反覆偵測狀態、產生行動、接收回饋、調整策略的運作機制。每一次迭代不一定需要模型本身變強，而是讓模型在正確的脈絡中發揮現有能力。 從成本角度來看，調整模型外的流程設計遠比訓練或採購更強大的模型更為經濟。訓練大型語言模型需要龐大的運算資源與資料成本，而修改提示策略或最佳化回饋機制往往只需要開發團隊的工程時間。若能跳脫模型中心思維，轉向模型外圍的細節調整，或許能以更低成本實現更高效的 Agent 表現，也讓開發者重新思考「性能提升」的真正來源。 Karpathy 本人也強調，這項實驗並非否定模型進步的重要性，而是提醒業界不要陷入「模型決定論」的迷思。即使模型能力持續提升，若缺乏良好的外圍機制，高端模型也無法發揮應有實力；反之，中等能力的模型搭配精心設計的循環流程，仍可交出亮眼成績。這對資源有限的團隊尤其重要，因為他們不需要與巨頭比拼模型規模，而是可以透過工程智慧取得競爭優勢。 事實上，不少一線 AI 公司已在實踐類似觀點。例如 Anthropic 的「Constitutional AI」、Google DeepMind 的「ReAct」模式，本質上都是透過強化 Agent 與環境的互動循環來提升可靠性，而非單純仰賴模型參數。Karpathy 的 Loop 實驗則提供了量化證據，證明這條路徑的效益遠超出多數人的直覺。 未來 AI Agent 的設計趨勢，很可能從「模型軍備競賽」轉向「系統工程競賽」。開發者將更關注如何拆解任務、設計反饋循環、管理記憶與上下文、以及動態調整提示。這些環節的創新，或許比下一代的模型版本更能帶動實質的應用落地。對於已經在 Agent 開發上遇到瓶頸的團隊來說，Karpathy 的實驗提供了一個明確的改方向：先別急著換模型，回頭檢查你的循環設計是否還有最佳化空間。