談談緣何元數據死灰復燃

一家金融公司去年導入AI智能問答系統，原本準確率不到40%，技術團隊用了最好的模型、調整多次提示詞，卻仍無法讓大模型正確回答業務問題。後來團隊改變策略——不修模型、不加大算力，而是回頭整頓元數據。把所有業務定義、字段口徑、表歸屬、質量標籤與血緣關係餵進元數據平台，讓AI代理在生成SQL前先檢索相關上下文。結果準確率從40%直接躍升至87%。這個真實案例，揭示了AI時代一項基礎設施的復活：元數據，這個曾被企業嫌棄十幾年的「倉庫管理員」，正在迎來第二春。 元數據——關於數據的數據——存在已超過三十年，但長期處於「重要卻沒人管」的尷尬境地。1990年代，元數據只是資料庫的說明書，由管理員手工錄入字段描述，改了表結構卻沒人同步更新，三個月後內容幾乎全是錯的。整個行業都接受了一個現實：元數據是參考資料，不是事實。到了大數據時代，LinkedIn、Lyft、Uber各自開發了DataHub、Amundsen、Databook等工具，解決了「數據資產有哪些」的問題，但本質仍是被動提供給人查詢。數據分析師先有需求，再去目錄搜尋、找到表、寫SQL，流程由人發起，元數據只是中間的導航工具。數據管道跑得再快，元數據更新依然週期性同步、有時差、有遺漏。元數據管理成了吃力不討好的工作，花錢做沒人看，不做也沒人投訴，許多企業的數據治理頁面常年掛著「建設中」的橫幅。 但AI的爆發讓一切反轉。回顧元數據的演進，可以清楚看到四個時代。第一代是說明書時代（1990至2000年代），代表產品為Informatica、IBM InfoSphere，本質是給IT部門用的資料庫結構文檔，純手動、與數據運行完全脫鉤。第二代是治理入口時代（2010至2020年代初），Hadoop與數據湖興起，數據量從TB跳到PB，Apache Atlas成為治理框架，元數據從文檔變成治理入口，開始有數據目錄、血緣關係與資產盤點，但仍是被動記錄，主要供人搜索使用。第三代是協作層時代（2020年代中期），Snowflake、dbt、Airflow等工具組合流行，分析師與產品經理都參與數據工作，Gartner提出「主動元數據」概念，元數據透過事件流即時更新，不只給人看，機器也開始消費它，元數據逐漸變成數據基礎設施的神經系統。第四代是上下文圖譜時代（2026年至今），大模型與AI代理進入企業，元數據不再只是治理工具，而是AI理解企業數據的上下文層。OpenMetadata 1.13版本直接內建知識圖譜，Google Cloud把Knowledge Catalog定位為面向AI代理的企業上下文引擎。四個時代最關鍵的變化在於服務對象——從「人」轉變為「AI代理為主」，這不是漸進式改良，而是範式反轉。 過去三十年，數據永遠優先，元數據是最後一步、補救步、可選步。但在AI代理落地的場景裡，流程反過來了：先定義代理任務需要的上下文，檢查元數據是否完備，不完備就回頭補元數據，然後代理才能跑起來，數據才被消費。元數據變成第一公民。代理能不能跑、跑得好不好，不取決於數據是否存在——數據早就存在了——而是取決於元數據是否完備到讓代理能正確理解和使用數據。數據是燃料，元數據是導航、油表、儀表盤與副駕駛。沒有元數據，再多的數據對代理來說都是無法消費的暗物質。Gartner預測，到2026年，60%的AI項目會被放棄，主要原因不是模型品質，而是上下文與數據準備的差距。Meta在2026年4月發布的一篇部落格更具說服力：為了讓AI代理能正確修改一個跨4個程式碼庫、3種語言、4100多個檔案的大規模數據管道，Meta專門打造了一套由50多個AI代理組成的預計算引擎，唯一工作就是讀取所有程式碼，生成59份結構化文件，把工程師腦中的「部落知識」轉化成AI可讀的上下文。最終，代理的工具呼叫次數減少40%，覆蓋率從5%提升到100%。在這家頂級技術公司，已經投入大量工程資源專門為AI代理生產元數據——不是為了人，是為了代理。 第三代元數據的關鍵字是Active（活的、即時的），而第四代正變成Agentic（自主的、可推理的、雙向互動的）。三個訊號顯示這個趨勢已經發生。第一，MCP正在成為元數據系統的標準介面。DataHub在2026年初已把MCP Server作為標準API之一，Atlan也跟進，這意味著所有AI代理框架未來都能透過MCP直接查詢企業的元數據系統，變成「企業數據的USB-C接口」。第二，元數據系統開始嵌入代理自身。DataHub在自己的目錄裡跑代理，用來做結構推斷、自動寫表描述、自動偵測異常血緣、自動標記敏感數據標籤；Atlan的AI Copilot也在做同樣的事。元數據系統不再只是被動回應查詢，而是主動產出並維護自己的元數據——它本身變成了一個代理。第三，Context Engineer正在變成獨立工種。DataHub 2026年報告顯示，95%的數據團隊計畫投資Context Engineering培訓。這個角色不寫SQL、不建倉庫，而是設計「代理應該看到什麼上下文、何時看到、如何維護更新、如何在多步推理中動態裁剪」。而且，最有競爭力的人選不是來自AI圈，而是來自數據工程圈——因為做Context Engineering需要的核心能力是理解企業數據如何組織、各表的真實業務含義、數據品質陷阱在哪、不同系統如何串聯。這些能力，AI工程師沒有，但每一位有五年經驗的數據工程師都具備。 市場數據也印證了這股動能。全球元數據管理工具市場規模在2024年已達116.9億美元，預計2030年成長至364.4億美元，年複合成長率20.9%。Gartner在時隔五年後重新發布元數據管理魔力象限報告，明確將元數據定位為「AI就緒的基礎」。市場上併購整合頻繁：ServiceNow收購了data.world，Coalesce收購了CastorDoc，Salesforce正在收購Informatica，微軟與Informatica、Solidatus建立生態合作，GCP與Atlan、Collibra深度綁定。Gartner還預測，到2027年，採用主動元數據實踐的組織將能把新數據資產的交付時間縮短70%；到2026年，採用主動元數據的組織將增加到30%。元數據市場正從「可選項」變成「AI戰略的必選項」。 現代元數據管理已遠不止表結構描述，企業需要管理五類元數據。技術元數據包括資料庫結構、字段類型、主鍵外鍵等；業務元數據涵蓋業務術語、定義、口徑說明；操作元數據記錄數據管道的執行日誌、排程與錯誤；品質元數據管理數據完整性、準確性、時效性分數；行為元數據則是最新出現的，記錄人和AI代理如何實際使用數據——某個數據集被代理每週調用500次，另一個三個月沒人碰，治理優先級立刻清楚。 元數據的復活也體現在血緣關係的革命性擴展。傳統血緣只回答數據從哪來、流向哪去，但AI時代新增了機器學習血緣（訓練數據→特徵→模型版本→推理服務→業務決策）與RAG知識血緣（知識文檔→Chunk→Embedding→向量庫→RAG應用→回答結果）。未來企業需要管理的血緣類型將從一種擴展到至少六種：數據血緣、模型血緣、特徵血緣、知識血緣、提示詞血緣、代理行為血緣。元數據平台正從「數據目錄」被推向更廣泛的企業上下文圖譜。Databricks的Unity Catalog已經走在前面，把數據與AI治理放在統一框架下，能捕捉查詢運行時血緣，支援到列級，包含Notebook、Job、儀表板等上下文。 展望未來三年，元數據系統的預算將從CDO轉移到CAIO——過去元數據是數據治理項目，由首席數據官撥款；未來預算將越來越多來自首席AI官，因為AI項目能否落地，前置條件就是元數據是否完備。其次，「上下文層」將成為繼數據湖、湖倉之後的下一個基礎設施層，它不替代湖倉，而是建在湖倉之上，專門服務AI代理的語義、治理與上下文供給。第三，元數據的消費者將從人為主轉變為機器為主。今天元數據系統查詢量可能95%是人發起的，三年後這個比例會反過來——95%的查詢是AI代理發起的。這將迫使元數據系統從「UI優先」轉為「API優先」，從「自然語言搜尋」轉為「結構化上下文檢索」，從「被人瀏覽」轉為「被代理消費」。 對數據工程師而言，從今天起，應該為寫的每一段SQL、每一個dbt模型、每一條管道加上「AI代理友好」的元數據——表註釋要詳細，字段口徑要清晰，業務定義要落到文檔。這些東西過去是加分項，未來是准入門檻。對AI應用開發者來說，應停止在提示詞中硬編碼業務上下文，把所有業務知識沉澱到元數據系統，讓代理在運行時查詢，好處是提示詞變短、維護成本降低、知識可複用，唯一代價是前期搭建一個上下文層，兩個月內就能回本。給技術決策者的建議則是：把企業裡「數據治理」與「AI項目」兩條原本平行的預算線合併——AI項目能否成功，本質就取決於數據治理的成熟度。過去三十年，所有數據基礎設施都圍繞一個假設：最終消費者是人。未來三十年，所有數據基礎設施將圍繞一個新假設重建：最終消費者是AI代理。連接這兩個時代的關鍵基礎設施，正是元數據。它過去是倉庫角落的目錄卡片，現在是企業AI戰略的中樞神經，未來將是整個數位世界的語義底層。所謂「死灰復燃」，不過是烈火終於找到了它該燃燒的地方。