推翻一切！Nick Cammarata 萬字長文宣告，AI 不是黑箱，99% 神經元清晰可見

親手推翻自己十年前的結論，可解釋性大佬 Nick Cammarata 這次讀懂 AI 腦回路。作者丨高允毅 編輯丨岑 峰 “大模型把貓和汽車分為一類，不是弱智。”在 AI 可解釋性領域，有一個十年的經典案例，是 InceptionV1 模型裡編號 4e:55 的神經元。這個神經元在看到“貓臉”和“汽車車頭”時，都會被強烈激活。這意味著，整個神經網絡的底層邏輯是不可解釋的。於是整整十年，整個領域都沿著 “拆” 的思路往前走：既然網絡是一團亂麻的黑盒，那就發明工具把它拆開。稀疏自編碼器（SAE）分解、特徵字典、特徵解纏…… 都是先把糾纏的特徵拆成一個個獨立的、人類能懂的單元，再去理解。

就在昨天，OpenAI早期機制可解釋性研究的科學家，也是當年將該案例推向經典的《Zoom In》的共同作者，Nick Cammarata ，親自推翻了自己當年所下的結論。“這個神經元根本不認識貓，也不認識車。它檢測的是V 字幾何形狀，不管是狐狸的尖臉、噴射的火焰，都會激活它的正極；而它的負極，是圓形的東西。”他直言，這個誤判的根源，或許是當年的觀測工具太低級。2023 年他在 OpenAI 做第一個大規模自動化神經元解釋項目，用現有工具只能解釋大約 2% 的神經元。結果三年後，當他帶著更先進的算法和 Agent 團隊重新研究，發現情況完全不同。

在他們測試的現代視覺模型中，最後一層99%～100%的神經元都能找到相當清晰的解釋。就連當年以 “深層混亂” 著稱的 InceptionV1 本身，用新工具重新觀測，可解釋率大幅提升。因此，Nick Cammarata 發表了一篇需要閱讀 65 分鐘的長文《Neural Networks Are Already Clean》，並提出了一個驚人之論：神經網絡本身，遠比我們想象的要 “乾淨”。這裡的 “乾淨”，不是指“一個神經元只幹一件事”，而是說網絡內部有著極其連貫、精妙、且完全可以被人類直接閱讀的組織結構。它就像一個規整的地圖，想看細節就 “雙擊放大”。

對此，OpenAI 核心研究員 roon 直接轉發並驚呼，這是“科學史上的重要時刻”，“我們終於可以把 AI 對齊，變成一門‘常規科學’了”。畢竟，這篇文章一旦成立，等於把過去十年可解釋性研究的核心焦慮推翻了。AI 圈過去幾年，花大力氣搞的稀疏自編碼器（SAE）分解、特徵字典、特徵解纏，可能都走錯了路。或許，可解釋性領域也可以用“The Bitter Lesson”來解決，即簡單即高效。01十年共識的誕生與反轉為什麼人們會認為“AI 的大腦”是一團亂麻呢？這一切要從 2014 年的 InceptionV1 視覺模型說起。

作為可解釋性研究早期的 “模型生物”，研究者發現，模型的表層神經元還算清晰，但越往深層走，越像一團亂麻。當時人們估計，最後一層能被人類看懂的神經元，學界認為只有區區 5%。其中最出名的，是 4e:55 的神經元，它讓兩個八竿子打不著的東西共用一個神經元，怎麼看都違背“一個神經元對應一個概念”的樸素預期。為了解釋這種現象，學術界提出了一個核心理論“疊加假說”（Superposition）。他們認為，當神經元數量不夠用時，AI 就會偷偷切換學習策略，把互不相關的概念“摺疊”進同一個神經元裡。因為它們很少同時激活，所以不會互相干擾。

2020 年，Cammarata 與 Chris Olah 在里程碑級論文《Zoom In》中又給出了更具象的證據：網絡竟然把汽車的特徵信號藏進了一組“狗神經元”中，這更加實錘了疊加現象。既然神經網絡是纏結的，那就必須發明工具把它強行“拆開”。一直以來，Anthropic 和 OpenAI 等頂尖實驗室，都把稀疏自編碼器（SAE）作為主流方案，其思路是訓練一個輔助模型，把原本硬塞在神經元裡的多個特徵強行拽出來，重新分類，貼上人類可讀的標籤。但 Nick Cammarata 發現，每次觀測工具的升級，看似混亂的神經元就會自動變得清晰一些。

他忍不住懷疑，或許問題根本不在神經網絡，而在我們觀察網絡的工具上。從 2009 年特徵可視化技術剛誕生時，合成的迷幻圖案，到引入變換魯棒性後，較為清晰的神經元可視化圖像，再到如今 Nick Cammarata 團隊通過微調參數，引導算法沿著“真實圖像的激活路徑”去觀測，發現現代架構（如 ConvNeXt）最後一層 99% 以上的神經元變得清晰可讀。原來這十年，大家一直在和工具誤差較勁。02兩個經典案例的 “翻案”工具升級之後，可解釋性領域的兩個 “多義性” 經典案例，雙雙迎來反轉。整個反轉的核心邏輯，是用動態的機制與合理的幾何特徵，推翻了過去靜態的、字面化的名詞分類法。

▎案例一：“貓與汽車神經元” 案例過去的特徵可視化，本質是用梯度下降算法合成一張最能激活神經元的圖。但算法為了追求最高激活值會“抄近路”，產生“獎勵作弊”（reward hacking）問題。由於 ImageNet 訓練集中貓狗類圖片數量極多、特徵極強，算法合成出的最強激活圖像裡，會混入貓的鬍鬚、狗的皮毛這類語義殘渣。研究者順著這些附帶特徵解讀，自然會誤以為這是個 “動物神經元”。為此，Nick Cammarata 團隊用了兩套更嚴謹的方法重新觀測。第一，激活路徑引導：精細化微調正則化參數，強制約束算法必須沿著真實圖像的天然激活路徑去合成特徵，從而剝離掉算法自身產生的干擾噪音。

第二，正負兩極交叉驗證法：不只研究 “什麼能最強激活神經元”（正極），同時研究 “什麼能最強抑制神經元”（負極），通過兩端共同錨定神經元的真實功能。結果發現，神經網絡原來是按照幾何去分類的。在“貓車神經元” 案例裡，它檢測的是 V 字幾何形狀。任何 V 形輪廓都會觸發它的正極，比如狐狸的尖臉、噴射的火焰、汽車的尖頭、消防船噴出的 V 形水柱。反過來，所有圓形輪廓會觸發它的負極，比如圓臉、圓球、圓形的車輪。▎案例二：“汽車與狗神經元” 案例而另一組“汽車與狗”的案例也是同樣的道理。

InceptionV1 訓練數據裡狗的圖片遠多於汽車，狗相關神經元也更密集，優化過程掉進 “狗的圖像盆地” 就爬不出來，最後合成的 “最強激活圖” 全是狗。為了查明真相，Nick Cammarata 團隊這次引入了自動化 Agent 工具，對這組電路做了一場動態的梯度追蹤和消融（控制變量剪線）實驗。結合泛化軸線解離方法拆解後，他們發現，原來這組神經元根本不是 “狗神經元”，而是檢測“物體是否正臉直接面對鏡頭、且兩側對稱”的神經元。汽車的特徵信號在這裡被打上 “正面朝前” 的標籤後，會繼續向下遊更深的層流動，並最終分流進真正的 “汽車分類電路” 和 “狗分類電路”。

之前多義性誤讀的根源其實在於數據集偏差。本質上，特徵天然就會沿著信號進行連續的泛化與分流。03神經元的真相是遞歸泛化？既然神經網絡不是胡亂疊加，那“多義性”現象是怎麼來的？Nick Cammarata 給出了一個新的解釋：遞歸泛化。他認為，神經元像樹枝一樣生長。一個神經元最初或許只識別油菜花。沿著 “黃色” 這條特徵軸，它慢慢拓展到識別所有黃色物體；沿著 “圓形外形” 這條軸，又延伸到各類球狀物體；再順著 “花田裡的生物” 這個關聯路徑，進一步覆蓋花田裡的狗，最後延伸到綠色的西蘭花。如果人類只看到這個神經元同時響應油菜花和西蘭花，很容易誤以為模型邏輯混亂。

但只要追溯它生長的完整路徑就會發現：每一次分叉、每一次特徵延伸，都具備連貫的邏輯。在語言模型裡，遞歸泛化現象更誇張。比如，原本只檢測 “iy” 發音的神經元，訓練中先延伸到了識別 “diy” 這個詞，到最後，連完全不含 “iy” 音的短語 “Do it yourself” 都能激活它。所謂人類看不懂的邏輯，實際是神經網絡在用它高維的邏輯，進行著語義延伸。這時候，傳統學派一定會反駁：如果神經元真的不夠用了，神經網絡難道不會切換到疊加模式嗎？為此，Nick Cammarata 設計了一個極限壓力實驗。他盯上了 InceptionV1 的 3b 層。這一層沒有殘差流，信號無法繞路傳播。

Nick Cammarata 將該層原本用於檢測曲線的 480 個神經元，直接壓縮至 10 個，相當於 48 倍壓縮，然後從零重新訓練。按疊加假說，空間嚴重不足時，神經網絡肯定會把各種無關特徵亂塞進這 10 個神經元。結果完全相反。這 10 個神經元個個清晰可解釋，它們只是每個管得更寬了：一個“曲線與環”神經元，主動合併了原來 10 個不同角度的細分曲線檢測器；兩個“圓形”神經元，包攬了原本複雜的多種圓形分類。他還得到了一個顛覆性的發現，經過 SAE “解纏”拆出來的特徵，不僅沒有變乾淨，其響應寬度反而比原始神經元粗了好幾倍。

這意味著那些過去幾年讓無數科學家歡呼、聲稱“從網絡黑盒裡解纏出來的疊加特徵”……很可能，根本就是 SAE 這個工具自己製造出來的數學假象。04網友質疑沒有新花樣長文發佈後，Nick Cammarata 的推特變成了網友們的大型提問區。有人提問，當未來出現非 Transformer 架構時，這套方法還適用嗎？Nick Cammarata不僅給出肯定的回答，還表示性能越好的模型，內部其實越容易被解釋。舊式卷積神經網絡、新式卷積神經網絡、現代 Transformer 模型這三種截然不同的底層架構，已經證明了這套理論的通用性。

Zapier 聯合創始人 Mike Knoop 在線追問，能不能直接把神經網絡的“乾淨度”做成一個正式的行業評估指標？Nick Cammarata 表示這並不難。人類過去太低估原生電路的可研究性了，其實控制激活、消融剪線、盲區探測等方法，都可以直接給神經網絡的底層秩序“打分”。而疊加理論的核心奠基人之一， Google DeepMind 機制可解釋性團隊負責人 Neel Nanda，卻直接潑了一盆冷水。他直言：“這篇文章雖然有趣，但對於可解釋性而言，並沒有帶來什麼實質性的突破”。Neel 一針見血地指出，雙方爭論的根本不是同一個 “疊加”。

“疊加” 這個詞在領域裡至少有五六種定義，最核心的是兩種，一種是“任意疊加”，即網絡會把毫無關係的特徵塞在一個神經元裡，這是 Cammarata 推翻的版本。另一種是他所捍衛的 “表徵疊加”，大語言模型能記住遠超神經元數量的知識，靠的是用極少數的神經元通過線性組合去表達海量的概念。二者的靶子本就不在一處。在此基礎上，Neel 從三個維度提出了具體的技術質疑。首先是“弱激活”的定位問題。Nick 認為弱激活大多是語義延伸的次級樹枝，砍掉也無傷大雅。但 Neel 指出，弱神經元激活裡存儲了海量的事實和記憶組合，正是疊加的核心載體。

Neel 同時強調，論文最紮實的證據全部來自視覺模型，但視覺和語言本質上不同。語言模型是海量事實、記憶、知識的載體，信息密度高几個量級。小圖像模型本身記憶能力就差，不能證明大語言模型裡也沒有疊加。最後是為SAE（稀疏自編碼器）正名。Neel 澄清，SAE 在殘差流上依然是不可替代的工具，它能敏銳地反映模型每一層的信息瓶頸。這不是誰取代誰的問題，兩者各有適用場景。針對這些質疑，Cammarata 也認同。他承認自己的文章只是一個“工作假設”，還有幾個關鍵問題他沒解決：可解釋性並沒有因為模型變大而“飽和”，巨型模型的內部依然很乾淨。這種超級規模本身帶來的其他工程挑戰，目前還遠遠沒有被徹底解決。

覆蓋範圍上，研究只涉及視覺和語言單模態模型，視覺 - 語言融合的多模態模型，尤其是融合層的電路組織形式，完全沒有覆蓋，很可能和單模態的規律完全不同。核心機制上，遞歸泛化只在圖像模型裡完整追蹤了訓練全過程；語言模型缺少訓練過程的檢查點數據，沒法直接觀測神經元一步步泛化的過程，只能從最終形態反推規律。工具定位上，他從未全盤否定 SAE：實驗只證明在極度壓縮的層上，SAE 拆不出乾淨的原生特徵；但在正常未壓縮的原始層，SAE 和原生神經元的形狀匹配度高達 0.96-1.00，依然是高效工具。

方法侷限上，目前的結論高度依賴轉向導向實驗和歸因圖，本質都是 “擾動看效果” 的思路；不主動擾動系統、純自然狀態下的嚴格因果驗證，目前仍是開放問題。即便這只是一份工作假設，它也正在迫使四個方向的從業者重新校準自己的技術方向：做可解釋性的團隊：別再執著於用 SAE 去給網絡做解纏手術了。直接抬頭看原生神經元和電路，開展快速的常規觀測。做安全對齊的團隊：這絕對是個好消息。如果原生網絡天然可讀，意味著對齊超級智能的門檻比想象中要低——雖然對齊依然困難，但至少“理解 AI 的門檻”暴跌了。做架構設計的團隊：殘差流和 LayerNorm 這些為了讓模型“學得更好”的改進，竟然意外地讓網絡變得更易讀。

未來的架構搜索完全可以把“可解釋性”光明正大地加進指標裡，因為它和性能完全兼容！做應用層的工程團隊：未來調控 AI 行為不需要再重新微調了。通過行為干預工程，“調節一個神經元，就直接改變模型在特定法律/醫療場景下的行為”，將從論文概念直接變成生產線上的產品功能！十年前，我們看著模糊的神經元圖像，得出了 “神經網絡不可解釋” 的結論。十年後才發現，混亂的從來不是網絡，是我們先入為主的偏見。Rich Sutton 的 “The Bitter Lesson” 再次迴響：在理解 AI 的道路上，大道，終究至簡。參考鏈接：https://already-clean.goodfire.

com/https://x.com/NeelNanda5/status/2110875974296654062上車，帶你看遍全球 AI 頂會精華可獨家暢覽：專家演講PPT大會報告全文熱門論文解讀學術新星訪談掃描上方二維碼或點擊「閱讀原文」關注專區。