Sakana AI 提出錯誤擴散法，無需反向傳播即可訓練符合戴爾原則的雙流網絡，MNIST 達 96.7%、CIFAR-10 達 61.7%

深度學習領域長期以來依賴反向傳播演算法作為訓練神經網路的核心機制，然而這套方法與生物神經系統的運作方式存在根本差異。尤其是反向傳播在更新權重時，必須使用前向傳播過程中的權重矩陣精確轉置，這項被稱為「權重傳輸問題」的限制，一直被認為是人工神經網路與大腦學習機制之間的主要鴻溝。如今，日本人工智慧研究機構 Sakana AI 發表了一篇題為《Diffusing Blame》的新論文，直接挑戰這項長期存在的限制，提出一套名為「錯誤擴散」的局部學習規則，成功訓練出既遵守戴爾原則、又完全不需要權重傳輸的雙流網路。 戴爾原則是神經科學中一條經典的假設，主張神經元之間的突觸連接強度調整，僅依賴於局部可取得的訊號，而不需要遠距離傳遞完整的誤差梯度資訊。在傳統反向傳播架構中，每一層的權重更新都需要從網路輸出端一路反向計算到輸入端，這不僅需要保留前向傳播過程中的所有中間值，還必須取得前向權重矩陣的轉置，才能正確計算梯度。這種全域性的訊息傳遞方式，在生物神經系統中難以找到相對應的實現機制，因此成為人工智慧研究者試圖打造更具生物合理性學習演算法的關鍵突破口。 Sakana AI 團隊提出的錯誤擴散法，最早由 Kaneko 在 2000 年提出，但直到近期才被證實能夠在實際的多層網路訓練中展現有效成果。這套規則的核心理念在於，每一個權重的更新僅需依賴三個訊號：突觸前神經元的活動、突觸後神經元的激活函數導數，以及一個單一的全局錯誤符號。換句話說，錯誤擴散不需要像反向傳播那樣傳輸轉置後的前向權重矩陣，也不需要使用隨機反饋矩陣來近似梯度。由於其更新規則完全基於局部可得的資訊，因此自然符合戴爾原則的要求。 更具體來說，在錯誤擴散的運作流程中，全局錯誤訊號並非精確的梯度數值，而只是一個代表當前預測方向是否正確的正負號。這個正負號會被廣播到整個網路中的所有神經元，而每個神經元則根據自身的局部激發狀態以及輸入端的活動，來決定權重的調整方向與幅度。這種機制大幅簡化了資訊傳遞的複雜度，同時也迴避了權重傳輸問題，使得訓練過程更接近生物神經系統中所觀察到的突觸可塑性現象。 為了驗證這套方法的實際效能，Sakana AI 研究團隊設計了一種雙流網路架構，並在兩個經典的影像分類基準資料集上進行測試。在 MNIST 手寫數字辨識任務中，採用錯誤擴散法訓練的網路達到了 96.7% 的正確率；而在更複雜的 CIFAR-10 彩色物體辨識資料集中，則取得了 61.7% 的準確率。雖然這些數字尚未達到目前反向傳播所能達到的最佳表現──尤其是在 CIFAR-10 上，傳統深度卷積網路搭配反向傳播往往能輕鬆超過 90%──但考慮到錯誤擴散完全避免了權重傳輸，並且使用的是極簡的局部更新規則，這樣的成果已經展現出相當可觀的潛力。 值得注意的是，錯誤擴散法並未使用隨機反饋矩陣，這與另一條常見的生物合理性學習路線──隨機反饋對齊──有所不同。隨機反饋對齊雖然也試圖避開權重傳輸問題，但依然需要一個固定的隨機反饋矩陣來傳遞誤差訊號，而這個矩陣本身仍然涉及跨層的訊號傳遞。錯誤擴散則更進一步，將誤差訊號壓縮成單一符號，並直接廣播到所有神經元，從根本上消除了對任何形式反饋矩陣的需求，使學習規則更加局部化。 這項研究的意義不僅在於提供了一種新的訓練演算法，更在於它為理解生物學習機制提供了一個可計算的模型。過去多年來，許多研究者質疑反向傳播是否真的是大腦所使用的學習方法，因為大腦中並不存在反向傳播所需的精確權重矩陣轉置。如今，錯誤擴散法證明了即使不使用轉置權重，依然可以在多層網路中有效傳播錯誤資訊，並讓網路學會正確的映射關係。這對於神經科學與人工智慧的交叉領域，無疑是重要的進展。 當然，目前的實驗結果仍顯示有限的準確率，尤其在較複雜的資料集上，距離主流反向傳播方法仍有明顯差距。這意味著錯誤擴散法在學習效率與表達能力上，可能還有進一步改善的空間。未來的研究方向包括探索更複雜的全局錯誤訊號編碼方式、設計更適合此類局部規則的網路架構，以及將此方法擴展到更深層或更大規模的模型上。 整體而言，Sakana AI 的《Diffusing Blame》論文為深度學習的發展開闢了一條嶄新的路徑，讓學界重新思考訓練神經網路時是否真的需要精確的梯度傳遞。如果後續研究能夠在保持生物合理性的同時，進一步提升在 CIFAR-10 等標準基準上的表現，這套錯誤擴散法或許將成為下一代人工智慧系統的重要基石，推動更接近大腦運作原理的學習機制的實現。