Prior Labs Releases TabPFN-3.5: A Tabular Foundation Model That Beats the Winning Otto Kaggle Solution With Default Settings

Prior Labs 近日正式發表 TabPFN-3.5，這是其專為表格數據設計的基礎模型系列最新版本。不同於傳統機器學習流程需要針對每個數據集進行繁複的調參與訓練，TabPFN-3.5 能在單次前向傳遞中直接輸出預測結果，無需額外微調或訓練，大幅降低建模門檻與時間成本。根據官方公布的測試結果，TabPFN-3.5 在 Kaggle 經典的 Otto 分類挑戰賽中，僅使用預設參數就擊敗了該競賽的冠軍解決方案。這項成績凸顯了表格基礎模型在典型結構化數據任務上的開箱即用能力，也為企業與研究人員提供了一個更簡潔、高效的替代選擇，讓數據分析與預測的流程得以進一步簡化。

表格數據是機器學習領域最常見的資料型態，涵蓋金融、醫療、零售、製造等各行各業的結構化記錄。長期以來，處理表格數據主要依賴梯度提升樹（如 XGBoost、LightGBM、CatBoost）或深度神經網路。這些方法雖然成熟，但每個新任務都需要經過資料清理、特徵工程、模型選擇、超參數搜尋與交叉驗證等一系列繁瑣流程，專業門檻高且耗時耗力。即使是經驗豐富的資料科學家，也往往需要在多個模型之間反覆比較，才能找到適合特定資料集的配置。TabPFN 系列從一開始便試圖打破此一框架，改用基於 Transformer 的基礎模型架構，並透過大量合成表格資料進行預訓練，使模型能夠學習表格資料的通用模式。

全新發表的 TabPFN-3.5 是該系列的第三個重大版本，在架構設計與訓練資料規模上都有顯著升級。根據 Prior Labs 說明，TabPFN-3.5 採用更深的 Transformer 編碼器與更豐富的預訓練資料分佈，使其能夠處理更多樣化的變數類型，包括類別型、數值型與有序型特徵，同時支援分類與迴歸任務。最關鍵的特色在於「零樣本推論」（zero-shot inference）：使用者只需將待預測的表格資料匯入模型，TabPFN-3.5 便能在不進行任何參數更新的情況下，直接給出預測結果。

這意味著資料科學家不再需要為了特定資料集而反覆調整學習率、樹深度或正則化參數，也無須擔心過擬合或欠擬合的問題。為了驗證模型效能，Prior Labs 選定了 Kaggle 平台上的 Otto Group Product Classification Challenge 作為測試基準。該競賽於 2015 年舉辦，目標是根據產品特徵預測其所屬的類別，資料集包含 9 個類別、93 個數值特徵與約 6 萬筆訓練樣本。當年的冠軍解決方案經過了複雜的特徵工程與模型集成，才取得 0.403 的對數損失（LogLoss）成績。TabPFN-3.

5 在完全未針對此資料集做任何調參的情況下，僅採用預設參數運行，便達到 0.399 的對數損失，優於當年獲勝的集成模型。這一結果意義重大，因為它表明基礎模型能夠在結構化數據領域展現出類似於自然語言處理與電腦視覺中「預訓練‑即用」的優勢，無需針對每個新任務重新訓練。除了在 Otto 資料集上的出色表現，Prior Labs 也公布了 TabPFN-3.5 在其他多個公開表格資料集上的基準測試結果。與傳統機器學習方法相比，TabPFN-3.5 在多數情況下皆能達到或超越使用預設超參數的 XGBoost 與 LightGBM 表現，且所需時間僅為這些方法訓練流程的極小部分。

由於模型本身已經預先學習了大量表格數據的潛在結構，它在小樣本資料集上尤其具有優勢，因為傳統方法在小資料量時容易過擬合，而 TabPFN-3.5 則能借助預訓練知識做出穩健的推論。從實務角度來看，TabPFN-3.5 的推出可望顯著降低企業導入機器學習的技術障礙。過去一家公司若想在自有資料上建立預測模型，往往需要聘請專業的資料科學團隊，或投入大量時間在模型開發與調校上。如今，業務分析師或非機器學習專家也能透過簡單的 API 呼叫，直接對內部表格資料進行分類或迴歸分析，幾乎不需要程式碼撰寫經驗。這不僅加快了從資料到洞察的速度，也讓更多部門能夠自主運用數據驅動決策。當然，基礎模型並非萬能。

TabPFN-3.5 仍然存在一些限制，例如對於極高維度或包含大量缺失值的資料集，其表現可能會低於經過仔細調整的傳統模型。此外，由於模型參數量較大，運算資源需求也較高，尤其是在大規模資料推論時，可能需要 GPU 加速。但 Prior Labs 強調，團隊已經針對推論效率進行了優化，在普通消費級 GPU 上即可快速處理數十萬筆資料。對於研究人員而言，TabPFN-3.5 提供了一個全新的思考方向：是否所有類型的機器學習任務都能夠被統一為基礎模型的零樣本問題？表格數據長期被認為是最難標準化的領域，因為每個資料集的變數定義、分佈與缺失模式都截然不同。

如今 TabPFN 系列證明，透過合成的、多樣化的預訓練資料，Transformer 確實能夠捕捉表格資料的通用規律。這可能激勵更多學術團隊投入表格基礎模型的研究，進一步探索模型規模、訓練策略與跨領域遷移能力的極限。在開源與商用方面，Prior Labs 已將 TabPFN-3.5 的模型權重與推論程式碼公開在 GitHub 上，並提供 Python 套件，方便開發者直接安裝使用。此外，團隊也計畫推出雲端 API 服務，讓沒有 GPU 資源的團隊也能輕鬆體驗零樣本表格預測的能力。業界普遍認為，此舉有望加速表格基礎模型在金融風控、醫療診斷、電商推薦、製造良率預測等核心業務場景中的落地。

總結來說，TabPFN-3.5 的發布標誌著表格基礎模型邁入實用化的重要里程碑。它不僅在 Kaggle 經典賽事中證明自己能夠以預設參數擊敗精心調校的冠軍方案，更為廣大數據從業者提供了一種「即插即用」的全新工作流程。隨著後續版本持續優化，未來表格數據的分析與預測，可能將不再需要繁複的模型訓練，而是像呼叫一個強大的 API 一樣簡單直覺。對於正打算導入機器學習的中小企業，或是希望提升團隊生產力的資料科學部門，TabPFN-3.5 無疑是一個值得關注的新選項。