何愷明團隊發佈視覺原生框架VISTA

多模態模型的視覺原生Harness，來了！henry 發自 凹非寺 量子位 | 公眾號 QbitAI 多模態模型的視覺原生Harness，來了！最近，何愷明團隊在最新論文《VISTA: A Visual Harness for Reasoning in an Interactive World》中，提出了一套視覺原生的Harness—— VISTA。它讓現有的多模態模型直接觀察環境、保存原始畫面，並在推理時隨時回看、放大和檢查細節，無需從頭訓練。相比於傳統將環境抽象成文字或代碼的做法，VISTA保留了原始的視覺信息。模型可以根據眼下的問題，將過去看過的畫面重新調入上下文，參與當前的判斷與推理。

基於這套方法，視覺經驗成為了模型隨時調用、反覆檢查的上下文，而多模態模型，也有了圍繞視覺記憶搭建的原生腳手架。在評測方面，搭配VISTA，Claude Opus 5.0完成了ARC-AGI-3全部25個公開遊戲，相對人類動作效率得分達到滿分100，所用遊戲動作數比首次遊玩的人類基線少57.4%。換成GPT-5.6 Sol，同樣全部通關，得分達到99。更進一步，團隊還在瀏覽器遊戲、迷宮和連線題中驗證了這套方法，並將更接近物理世界的具身任務列為後續研究方向。這是怎麼做到的？視覺原生的腳手架 從ResNet、Mask R-CNN到MAE，視覺感知與表徵學習始終是何愷明研究的一條主線。

這一次，VISTA將目光投向了一個新問題：如何讓模型在持續交互中積累、保存並利用視覺經驗？答案是Harness。去年11月，Anthropic曾以長時間編程任務為例，介紹了Harness如何幫助模型跨越多個上下文窗口，持續推進任務。具體來說，Harness會通過任務清單記錄尚未完成的事項，通過進度文件和代碼記錄保存已經完成的工作。這樣一來，即使模型進入新的上下文窗口，也能通過讀取這些信息，瞭解此前做了什麼、接下來該做什麼。複雜任務由此可以分步執行、檢查結果，並在不同上下文窗口之間接續工作。

可以說，這套主要通過文字和代碼來保存任務狀態的Harness，在一定程度上推動了這一波Agent能力的爆發。然而，在現實環境裡，光有文字記憶，顯然還不夠。因為一旦進入真實的視覺環境，模型不僅需要記住物體的位置、朝向，還要理解每次動作前後，環境究竟發生了哪些變化。而且模型第一次看到一張圖時，未必知道哪個細節會在後面變得重要。與此同時，這些視覺信息，也很難提前用一份文字筆記完整記錄下來，更難保證模型後續執行任務時，記錄的信息依然夠用。在ARC-AGI-3這樣的基準中，一種已有思路是先把畫面轉換成由數字組成的文本網格，再讓模型編寫程序，模擬環境規則、驗證行動方案。

（註釋：ARC-AGI-3是一套交互式視覺推理基準，不預先提供遊戲規則和目標，智能體需要通過觀察和行動，自行摸索如何通關） 但問題在於，環境越複雜，物體的外觀、空間關係和動態變化就越難被完整地轉化成文字和代碼。而且隨著交互歷史越來越長，早期畫面也會被逐漸移出上下文，或者被文字摘要替代。於是，在這裡，VISTA的研究問題就變成了： 如何在不額外訓練基礎模型的情況下，讓智能體在推理需要時，重新檢查過去看到的視覺信息？基於此，VISTA把環境返回的每一幀原樣存到上下文之外，包括動作過程中的動畫中間幀，模型需要時再取回來。

在ARC-AGI-3評測中，它既能比較不同時刻的畫面，也能放大局部，檢查小方塊上的朝向標記。其中，文字筆記記錄模型當前的理解，原始畫面保留供它重新判斷的證據。研究將這種機制稱為對交互歷史的顯式注意力，模型根據正在思考的問題，選擇哪些視覺信息重新進入上下文。要想讓這種選擇成為可能，系統就得保存原始畫面，並提供隨時調取和檢查的工具。具體實現 為了讓模型能夠保存並利用過去的視覺經驗，VISTA設計了三個核心組件： 視覺觀測、無損視覺記憶和主動視覺檢查。這三個組件各有分工，分別負責讓模型看清畫面、保存歷史，以及按需回看。首先是視覺觀測，負責將環境畫面提供給模型。

在ARC-AGI-3實驗中，VISTA會將官方提供的64×64畫面放大為512×512的PNG圖像，同時保留物體的顏色、外觀和空間關係，讓模型能夠直接觀察環境。其次是無損視覺記憶，負責保存模型看到的畫面。每次執行動作後，VISTA都會完整保存環境返回的所有畫面，包括動作過程中的動畫中間幀，並按照回合號和幀號建立索引。這樣一來，模型就不必提前判斷哪些信息值得記住，而是可以先把視覺經驗完整保存下來，留待後續使用。最後是主動視覺檢查，負責讓模型按需回看歷史畫面。通過inspect工具，模型可以指定某個歷史回合，調出對應畫面，也可以裁剪、放大局部區域，檢查其中的細節。

如果想知道某次操作究竟改變了什麼，模型還可以一次調出多幀畫面，對比動作前後的變化。整個過程相當於給模型配了一套可以隨時翻閱的視覺檔案。它不僅能看到眼前的環境，還能主動回看過去的觀察結果，為接下來的行動提供依據。說到這，這三個組件具體是如何配合工作的？按照VISTA的執行流程，每個回合開始時，模型會先觀察當前畫面和可用動作，再結合此前積累的經驗，判斷當前環境的狀態，並提出下一步行動的假設。如果現有信息不足，模型就可以調用工具，回看歷史畫面、放大局部區域，甚至讀取具體的像素信息，進一步尋找證據。找到證據之後，模型並不會直接行動，而是先預測這次操作可能帶來什麼變化。

等動作執行完畢，再將實際結果與預測進行對比，檢查自己的判斷是否正確，並據此修正對遊戲規則的理解。如此反覆，模型就能在持續交互中，一邊探索環境，一邊積累經驗。當然，光有視覺檔案還不夠。為了讓模型在長時間任務中保持連貫，VISTA還引入了兩份文字筆記： GUIDE.md：記錄不同關卡之間可以複用的規則和經驗。WORKING.md：記錄當前關卡的狀態、進度和後續計劃。當上下文接近上限時，模型會先整理交接摘要，再進入新的上下文窗口繼續執行任務。此前的文字筆記、動作歷史和視覺檔案都會保留下來。這裡還有一個值得注意的設計：VISTA雖然完整保存了歷史畫面，卻不會把所有圖片一股腦塞進模型的上下文。

在完整方案中，每次執行動作後，框架默認只向模型展示最後一幀。至於動作過程中的中間畫面，則統一保存在視覺檔案裡，等模型需要時再主動調取。這樣既保留了完整的視覺信息，也避免大量歷史圖片持續佔用上下文空間。更重要的是，VISTA並沒有為此額外訓練一個新模型。環境理解、行動規劃和推理仍然由現成的多模態模型完成，Harness則負責執行工具調用、保存視覺歷史，並在模型需要時提供相應的證據。換句話說，VISTA改變的不是模型本身，而是模型獲取、保存和使用視覺信息的方式。

實驗驗證 除了開頭提到的實驗以外，團隊還在GameWorld、AI GameStore和BabyVision三個基準上測試了VISTA，覆蓋瀏覽器遊戲、迷宮和連線等任務。使用相同的GPT-5.6 Sol模型，相比官方基礎框架，VISTA在GameWorld的170項任務中，將成功率從40.0%提高到63.3%； 在AI GameStore的10個遊戲中，綜合得分從47.3升至140.3，其中人類中位數被歸一化為100； 在BabyVision選取的39道迷宮與連線題上，準確率從41.0%提高到63.2%。最後這組任務只有靜態圖片，模型也能通過放大局部、檢查像素，改善判斷。

這些結果表明，保存原始畫面、讓模型按需回看，可以進一步發揮現有多模態模型的能力。同一套VISTA框架只需少量適配，就能用於不同的遊戲與謎題，也展現了它在更多視覺任務中的應用潛力。在結論上，研究將未來的驗證方向指向更接近物理世界的具身任務：讓模型在持續變化的環境中，保存、複查並利用自己的視覺經驗，決定下一步行動。作者介紹 最後，讓我們介紹這篇工作的作者們。論文的三位共同第一作者為Qiushi Han、胡珂雅和Linlu Qiu，另外兩位作者為Cathy Wu和何愷明。Qiushi Han（Josh Han）目前是MIT運籌研究中心博士生，導師為Cathy Wu。

胡珂雅（Keya Hu）目前是MIT電氣工程與計算機科學系博士生，由何愷明和Jacob Andreas聯合指導。她本科畢業於上海交通大學ACM班，研究興趣集中在語言與視覺的交叉領域，希望構建數據效率更高、泛化能力更強的智能體。Linlu Qiu目前是MIT電氣工程與計算機科學系及計算機科學與人工智能實驗室的博士生，導師為Yoon Kim和Jacob Andreas。其研究方向包括自然語言處理和機器學習，曾在Google Research及Meta FAIR開展研究。Cathy Wu目前是MIT土木與環境工程系、數據系統與社會研究所副教授，研究如何用機器學習和強化學習改進交通等複雜系統。

她在MIT獲得學士和工程碩士學位，隨後在加州大學伯克利分校獲得博士學位。何愷明目前是MIT電氣工程與計算機科學系終身副教授，也是ResNet、Mask R-CNN和MAE等工作的主要作者。他本科畢業於清華大學、博士畢業於香港中文大學，曾任職微軟亞洲研究院和FAIR，於2024年加入MIT。參考鏈接 [1]https://arxiv.org/pdf/2610.02200 版權所有，未經授權不得以任何形式轉載及使用，違者必究。