BIMSA 王雅晴：Scaling Law 觸及天花板，「數據高效學習」指向 AI 的下一站｜IJCAI 2026

真正的智能，在於能否基於有限的數據，實現可靠的泛化與遷移。作者丨張璐 編輯丨岑峰 幸麗娟 高質量標註數據快用完了，算力貴得離譜，黑盒依然無解。大模型時代信奉的 Scaling Law，正在面臨多重瓶頸。更麻煩的是另一件事：很多任務天生就沒有大數據——藥物研發、冷啟動推薦、科學探索。這些不是技術的短板，是世界的常態。在IJCAI 2026大會的 Early Career Spotlight（早期職業焦點）環節，北京雁棲湖應用數學研究院（BIMSA）副教授王雅晴，給這些問題做出了系統回應。王雅晴長期從事小樣本學習與 AI for Science 研究。

她博士畢業於香港科技大學，曾任百度研究院資深研究員，現任北京雁棲湖應用數學研究院（BIMSA）副教授。貫穿其研究經歷的一條主線是：如何提高 AI 對有限數據與經驗的利用效率，使其在監督稀缺的場景下仍能實現可靠的泛化、適應與決策。

她在題為《邁向高效數據智能：從少樣本學習到智能體系統》（Toward Data-Efficient Intelligence: From Few-Shot Learning to Agentic Systems）的演講中，梳理了從小樣本學習、元學習、上下文學習，到最新提出的“數據高效智能體學習”（Data-Efficient Agentic Learning, DEAL）的完整演進脈絡。她的核心洞察是：人類智能從極少樣本中完成泛化，靠的是基因、文化與經驗三重先驗的支撐，而 AI 同樣可以。

更關鍵的是，她還從理論層面進一步證明了，在所研究的任務與模型設定下，In-Context Learning 可以被理解為一種數據依賴的元學習。Transformer通過自注意力機制，將傳統元學習中顯式的適配過程內化為隱式計算，從而實現了“殊途同歸”。這一發現為大模型的少樣本能力提供了堅實的理論解釋。而當AI從單步預測走向多步交互與長程決策，數據稀缺問題變得更加嚴峻。她與合作者提出了 DEAL 框架，從經驗增強、架構設計與高效學習範式三個方向，系統應對智能體面臨的“數據沙漏”瓶頸。其中一條核心思路，就是利用結構化先驗，讓 AI 在有限經驗中實現可靠和泛化，從而在真實世界走得更遠。

01科學與工業的現實：天然缺乏大數據的場景當下，Scaling Law幾乎成為行業共識。在Transformer與監督學習範式下，行業已習慣這套路徑：更大規模的數據、更多參數量，疊加持續增長的算力，即可推高模型的泛化上限。但這條規模擴張的路徑，究竟還能走多遠？以行業對GPT-4的估算為例，訓練數據如果印成紙質書，排起來能綿延 650 公里；所需的計算量，相當於一臺普通的單核筆記本電腦連續運轉 700 萬年；而它等效參數的量級，足足可以鋪滿 3 萬個標準足球場。這種靠規模堆疊獲得的泛化能力固然驚人，但若繼續沿著同一條曲線外推，邊際收益與代價的平衡點究竟在哪裡？

高質量語言數據正被快速耗盡，算力成本讓多數科研團隊難以為繼，黑盒參數帶來的不可解釋性也始終未解。跳出大模型參數與算力的軍備競賽，我們不得不直面兩個更為根本的現實問題：當任務本身天然缺乏大規模數據支撐時，該如何應對？當數據真正的關鍵價值恰恰集中在長尾分佈上時，我們又該如何破局？以藥物研發（Drug Discovery）為例，在化學空間裡，潛在的類藥小分子高達10³³～10⁶⁰，根本無法通過數據庫窮舉。一款新藥從早期篩選的成千上萬個化合物，經過臨床前、三期臨床，耗時十幾年、花費數十億美元，最終往往只有 1 個分子能成功獲批。在這一漫長而嚴苛的篩選過程中，帶標註的數據天然極度稀缺。

這種稀缺性並非技術發展暫時的短板，而是科學探索本身固有的規律——所謂“海量數據”，根本無從等待。再比如推薦與搜索。雖然整個平臺沉澱的數據池很龐大，但每天都有全新的用戶和物品湧入。從完全沒有交互的冷啟動期，到只有零星幾次點擊的預熱期，高質量標註同樣極難獲取。業務不可能等它積累了幾百次點擊才開始分發，系統必須在極少量的初始觀測下，通過高效的增量學習（Incremental Learning）迅速把特徵抓準。這兩個看似不同的領域，都指向了同一個命題：如何實現數據的高效利用（Data-Efficient Intelligence）。回到機器學習的底層。

我們原本追求的是最小化期望風險，但真實世界的數據分佈是未知的，只能退而求其次，通過手頭僅有的樣本去算經驗風險，並依靠經驗風險最小化（ERM）來進行優化。在標準機器學習中，這樣做是沒問題的；但一旦樣本量極小，這種經驗風險估計就會變得極其不可靠。如果僅依賴這極少的樣本，模型將不可避免地陷入過擬合。那麼，如何在極有限的觀測下跳出這種不可靠的估計、實現精準泛化？這正是小樣本學習必須回答的核心問題。02先驗知識，如何應對數據稀缺面對極有限的樣本，AI究竟該如何完成泛化？人類認知提供了重要參照。

以人類的認知發育為例：一個三歲的小孩只要在卡片上看了一兩次小狗的特徵，隨後在現實中偶遇從未見過的犬種時，就能立刻準確識別。為什麼人類能做到這點？因為人類智能的底層，有著龐大的多層次先驗知識（Prior Knowledge）在提供支撐。▎具體而言，這種先驗知識主要來自三個層面：1.基因編碼： 凝聚了人類數百萬年生物進化沉澱下來的內在先驗。2.社會文化： 人類共同生活數百年乃至上千年，沉澱為不同國家與民族的文化背景。3.個體經驗： 每個人獨特的成長軌跡，進一步塑造了各自獨特的認知與行為方式。利用先驗知識去彌合機器與人類能力之間的鴻溝，這是我們一直以來的願景。

▎從統計學習理論的形式化視角來看，先驗知識主要從三個維度介入並降低模型誤差：數據層面（Data）： 藉助先驗規則生成或擴充樣本，把稀疏的數據空間補齊；模型層面（Model）： 引入歸納偏置（Inductive Bias）來約束假設空間H的複雜度，比如處理圖像時選擇卷積算子，利用局部平移不變性減少參數自由度；算法層面（Algorithm）： 利用先驗改變在參數空間裡的搜索策略，找到更好的初始化起點，並指引梯度下降的方向。既然先驗知識如此關鍵，那麼什麼樣的信息可被視為先驗？

在大模型時代，先驗的形態已極為豐富：既可以是相關領域的先驗數據，也可以是預訓練模型中固化的參數權重，還可以是物理定律與數學公理。將這些先驗與新任務極少量的支持集一併送入適配機制，模型即可在下游任務上快速完成精準推理。03從元學習到 In-Context Learning：殊途同歸的理論統一回看近年學術演進，從小樣本學習到數據高效智能，核心技術路線經歷了清晰迭代：從早期元學習（Meta-Learning），到大模型時代的上下文學習（In-Context Learning），再到前沿的數據高效智能體學習（Data-Efficient Agentic Learning）。

在很長一段時間裡，元學習都是小樣本學習最核心的內容。其基本哲學是：訓練條件必須與測試條件對齊。若期望模型在測試階段僅憑少量樣本完成新任務，訓練階段就必須大量使用“僅含少量樣本”的任務進行反覆訓練。▎在具體實現上，主要形成了三大主流技術路徑：基於優化（Optimization-based）： 學習如何尋找最優初始參數與更新策略，用極少步數的梯度下降快速微調；基於度量（Metric-based）： 學習一個通用的語義嵌入空間，在新任務上直接比對樣本間的距離；基於攤銷/黑盒（Amortization-based）： 用黑盒編碼器直接將支持集映射為特定任務的預測權重。

這一局面在2020年發生了根本轉變。GPT-3論文《Language Models are Few-Shot Learners》的發佈，使In-Context Learning（ICL）迅速成為焦點。我們發現，模型無需調整任何網絡參數，僅需在Prompt中明確指令並加入一兩個示例（Few-shot Prompting），即可在前向傳播中直接完成任務適配並生成答案。當時不少人將其視為某種“智能湧現”，但若將二者置於統一的任務適配視角下審視，就會發現它們在本質上是同源的。二者均源自對多任務分佈的預先學習，最終目標都是實現任務適配。

唯一的本質差異在於適配發生的位置：元學習依賴顯式算法機制進行參數更新；而ICL則將任務信息作為上下文，在Transformer的前向傳播中隱式完成機制自適應。為從數學與機制層面釐清二者關係，我們的研究團隊在ICLR 2025的一項研究中開展了系統的理論分析與實驗驗證。在線性迴歸與分類任務上，我們將ICL與主流元學習方法進行了嚴格對比，結果發現，在參數合適的情況下，Transformer 的 ICL 能夠等價表示基於梯度、基於度量和基於攤銷的元學習過程；在單任務族上，ICL 能精準復現對應的元學習算法；而在面對混合任務族時，ICL 甚至學會了根據當前輸入數據的特徵，動態選擇最合適的適配規則。

換言之，In-Context Learning本質上是一種數據依賴的元學習（Data-dependent Meta-Learning）。大模型並未脫離經典機器學習理論，而是以極大的模型容量與自注意力機制，將以往分散的元學習能力內化為一種通用的隱式計算過程。04從預測走向行動：數據高效智能體學習（DEAL）如今，AI的能力邊界正在發生根本轉變。從最初的分類預測，到內容生成與多輪對話，再到工具調用與跨系統協作，直至今天能夠面對複雜目標、自主規劃並在長達數小時週期內持續行動的智能體，AI已從單次輸入輸出的預測工具，演進為多步交互、長程決策的行動者。

但當模型開始與真實世界交互時，數據稀缺問題非但沒有消失，反而變得更為嚴峻。於是，“數據高效智能體學習”（Data-Efficient Agentic Learning, DEAL）這一概念應運而生。以公式 D = Dloop ∪ Dext 為例：在智能體場景下，“數據”的內涵已發生改變。它不僅包含外部的人類標註與專家示範（Dext），更包含智能體在環境閉環中產生的全部軌跡（Dloop）：環境反饋、真實動作、獎勵信號與失敗教訓。這些信息無法由模型憑空生成，獲取成本高昂、試錯代價極大，且環境持續漂移，使智能體面臨顯著的“數據沙漏”瓶頸。

▎為在極其有限的數據預算下構建強大智能體，我們從三個方向提出了技術路徑：經驗增強（Experience Augmentation）： 通過經驗的生成與轉換，提高有限交互軌跡中的信息密度與多樣性；架構設計（Agent Structural Design）： 打造結構化模塊、流程自主與知識複用機制，減少對人類直接監督的依賴；高效學習範式（Learning Paradigm）： 在有限預算下，靈活選擇針對性的 ICL 優化、小樣本微調或預算高效的強化學習（Budget-Efficient RL）。這套框架使我們無需強迫智能體收集海量人類軌跡，而是藉助結構化機制，在有限數據預算內訓練出高水平行動者。

05結構化先驗：賦能智能體與AI for Science從最早的小樣本分類，到今天的智能體系統，我們堅守的始終如一：結構化先驗使從有限經驗中進行可靠學習成為可能（Structured priors enable reliable learning from limited experience）。其中，有兩個方向是我們重點關注的：一是AI for Science。在數學、物理與生物醫藥領域，將嚴謹的數學公式與物理定律作為先驗融入模型，不僅能彌補溼實驗數據的匱乏，更能幫助AI擺脫黑盒，獲得更高的可解釋性與穩定性。另一個，是工業級個性化智能體。

無論是教育場景還是具身機器人，將人類行為先驗注入系統，能使Agent在極短的冷啟動週期內快速理解用戶獨特偏好，實現可靠的個性化協同。最後，為凝聚該領域的研究者與工程師，王雅晴參與推動成立了IEEE 計算智能學會神經網絡技術委員會數據高效智能體學習專項工作組（IEEE CIS NNTC Task Force on Data-Efficient Agentic Learning，TF-DEAL）。目前，工作組由清華大學姚權銘擔任主席，BIMSA 王雅晴、英國布里斯托大學宋子星和澳大利亞墨爾本大學劉鋒擔任副主席，BIMSA 與清華大學趙沛堯擔任 Workflow Chair。

顧問委員會成員包括日本理化學研究所與東京大學的杉山將（Masashi Sugiyama）、北京大學林宙辰（Zhouchen Lin）、香港科技大學郭天佑（James T.Kwok）、香港中文大學金國慶（Irwin King），以及英國牛津大學Amir Hussain。工作組將依託這一國際化組織團隊，開展專題研討、教程報告、學術競賽與基準建設，推動數據高效智能體學習領域的國際交流與合作。也歡迎從事相關研究的學者、工程師和青年學生加入 TF-DEAL，共同探索如何讓人工智能從有限經驗中實現更可靠的泛化、適應與決策。文獻引用[1].

Yaqing Wang, Quanming Yao, James T.Kwok, Lionel M.Ni.Generalizing from a Few Examples: A Survey on Few-Shot Learning.ACM Computing Surveys (CSUR).2020.[2].Yaqing Wang, Abulikemu Abuduweili, Quanming Yao, Dejing Dou.Property-Aware Relation Networks for Few-Shot Molecular Property Prediction.

Annual Conference on Neural Information Processing Systems (NeurIPS).2021.[3].Yaqing Wang, Hongming Piao, Daxiang Dong, Quanming Yao, Jingbo Zhou.Warming Up Cold-Start CTR Prediction by Learning Item-Specific Feature Interactions.ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD).

2024.[4].Shiguang Wu, Yaqing Wang, Quanming Yao.Learning to Learn with Contrastive Meta-Objective.Annual Conference on Neural Information Processing Systems (NeurIPS).2025.[5].Hongyi Nie, Yaqing Wang, Mingyang Zhou, Feiyang Pan, Quanming Yao, Zhen Wang.

Adaptive Preference Arithmetic: Modeling Dynamic Preference Strengths for LLM Agent Personalization.Annual Conference on Neural Information Processing Systems (NeurIPS).2025.[6].Shiguang Wu, Yaqing Wang, Quanming Yao.Why In-Context Learning Models are Good Few-Shot Learners?

International Conference on Learning Representations (ICLR).2025.[7].Shiguang Wu, Yaqing Wang, Quanming Yao.Searching to Modulate for Cold-Start Recommendation.IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI).2026.[8].Yingjie Tan, Quanming Yao, Yaqing Wang.

DGNet: Discrete Green Networks for Data-Efficient Learning of Spatiotemporal PDEs.International Conference on Learning Representations (ICLR).2026.IJCAI 2026 要來了，你還在單打獨鬥？為了方便大家抱團交流、互通會議消息，我們專門建了 IJCAI 2026 參會群！進群你會解鎖這些「福利」?會議情報站：投稿 DDL、格式規範、評審進度……關鍵節點第一時間送達，再也不怕錯過 deadline，投稿準備穩穩的。

同行茶話會：天南海北的同行都在群裡，聊心得、碰思路、攢人脈，科研路上我們同行。前沿補給站：最新研究成果、熱點方向實時同步，結合會議主題幫你捋清投稿脈絡，給論文靈感加滿油。現場後援團：（會議期間專屬開啟）：到了會場也不用慌——路線導航：場館分佈、報告廳怎麼走，群裡隨時問；議題共讀：熱門 session、Keynote 現場探討，錯過也能追；Poster 彙編：現場海報精華整理，一鍵收藏不遺漏；約局廣場：約飯局、採訪局、交流局……想嘮嗑、想合作、想面基，群裡發起就成。?進群傳送門： 掃碼進群或添加微信Qvv0909777，備註：IJCAI + 單位/學校+姓名+方向。搞科研/搞技術，信息差很重要。

來，一起快人一步！上車，帶你看遍全球 AI 頂會精華可獨家暢覽：專家演講PPT大會報告全文熱門論文解讀學術新星訪談掃描上方二維碼或點擊「閱讀原文」關注專區。