我所知道的張磊：一場MSRA賽馬與半個中國AI江湖

雷峰北京辦公室不遠處，就能看見西格瑪大廈，總能想起那個豪傑並起的年代。二十四年前，就在那裡，微軟亞洲研究院內部有一場賽馬。兩個團隊被同時拉上競技場，比誰的人臉檢測算法更好，即便沒有明說，但誰都心裡清楚，這可能決定著人員去留。一方是個剛畢業不到兩年的年輕博士，本行還不是人臉，他帶著幾個實習生倉促上陣，表面看起來規劃一塌糊塗。另一方是冉冉升起的明星學者，他的系統剛被比爾·蓋茨在全球技術狂歡節上親自演示過，CNN 做過專題報道，他與印度裔泰斗Anil K.Jain合編的《人臉識別手冊》風行全球，堪稱宗門天驕。三個月後，前者贏了，所有人大跌眼鏡。

多年以後人們才慢慢發現，那個年輕博士和他當初帶的幾個實習生，後來幾乎撐起了中國 AI 的半壁江山。此人便是張磊。今天左林右狸頻道要跟各位鄰里講的，就是他的故事。01 師父一句話，徒弟二十年張磊在清華本、碩、博就讀。那時候人工智能還是個徹頭徹尾的冷門學科，別說找工作了，你跟人說「我是學 AI 的」，人家會以為你是寫科幻小說的。他本碩期間都在計算機系人工智能教研組做移動機器人，具體來說是 AGV 自動導引小車。那個年代做 AGV，跟今天完全不是一碼事，沒有激光雷達給你用，沒有成熟的 SLAM 算法，全靠自己焊硬件、調參數。

張磊大量課餘時間泡在實驗室裡，跟電路板和單片機死磕，寫彙編代碼來完成 AGV 的各種功能：自主定位、超聲避障、無線通信、面板操作等。多年後，張磊對左林右狸頻道談著這段往事，他認為這種從底層硬件到上層算法全鏈條自己動手的經歷，後來成了他工程能力的底子。1999 年，讀博二的張磊進入剛成立不久的 MSRA 實習。MSRA 是微軟在中國設立的第一個基礎研究機構，前一年剛在北京成立，後來被業界稱作「中國AI的黃埔軍校」，走出了包括李開復、張亞勤、沈向洋、王堅、何愷明等幾乎整個中國AI產業的扛旗者張磊去的是李開復的語音語言組，一個做移動機器人的跑去搞語音語言，這是個陰差陽錯的開始。

但這段經歷有一個極其重要的「副產品」——實習結束，張磊的同學邸爍把他引薦給了張宏江。邸爍名字雖然難念，但他後來可是谷歌中國六大技術主管之一，被業界稱為是「谷歌六君子」，更傳奇的身份是，他把安卓手機操作系統引入了中國，被稱作「Android 中國第一人」。他的夫人兼學妹張小沛，更是清華計算機系一代傳奇，在微軟做過在線廣告精準投放，在 Hulu 做過全球副總裁，回國後先後擔任宜信 CTO、瓜子二手車 CTO，後來創辦了跨境電商全量全速，天使輪就拿了 3000 萬美金，大家後來知道的字節推薦大佬項亮等人都曾是她的部下。

1999 年的那個秋天，邸爍作為一箇中國好同學，把張磊帶到張宏江面前，這個看似微小的引薦，改變了張磊接下來二十多年的學術軌跡。張宏江是計算機視頻檢索領域的開山鼻祖，IEEE Fellow 和 ACM Fellow 雙料院士，美國國家工程院外籍院士，後來做過微軟亞太研發集團 CTO、金山軟件 CEO。前幾年，全球計算機科學和電子領域 TOP 1000 科學家榜單裡，中國大陸入選 53 人，張宏江排第一。話回當年。張宏江非常欣賞張磊，給張磊推薦了大量論文和研究方向。從那時起，張磊才系統性進入圖像檢索這個領域，從移動機器人到視覺，學術方向就此轉了彎。

而在此期間，張磊還有另一個身份，那就是張鈸院士的博士生，兩人還有一段不為外界所知的親傳弟子師生情。為什麼這麼說？左林右狸頻道這裡抖一個止步於此的包袱，大家當成包袱聽就行，據說張鈸本來極力動員張磊回到學校，張磊也有意向留在清華。但是當時因為時代和家庭原因，張磊沒法留在清華，最後只好留在了微軟。也可見張磊那時候的機遇非凡。張鈸是中國科學院院士，中國人工智能領域真正的開山泰斗之一，清華計算機系教授。他從 1980 年代起就在中國推動 AI 研究，那時候「人工智能」這個詞還沒普及，他做的東西叫「智能機器人」和「專家系統」。張磊回憶過一個畫面，左林右狸頻道印象極深。

他說那時候做實驗，導師張鈸就坐在旁邊，興致勃勃地看著屏幕上的結果，說「你把這個地方改一改，看看怎麼樣」。張磊說，「張老師其實也在通過這種方式，加深自己對這個領域的理解，我能直觀地看到，一個學者對問題的理解，完全是由好奇心驅動的。」張鈸給張磊留下了一句話，讓他印象深刻，就一句。「把問題理解透。」聽起來簡單得不像話，對吧？但張磊把它扎進了骨頭裡。他說，「理解不透就會被人騙，理解透了才知道底層原理是怎麼回事」。不追逐時髦概念，不滿足於指標微調。圍著一個問題，像釘子一樣死死釘進去。這套方法論，日後貫穿了張磊整個職業生涯。而當時的他不知道的是，這個方法論馬上就要迎來一場極其殘酷的實戰檢驗。

02 銀鞍照白馬，颯沓如流星2001 年，張磊博士畢業，給張宏江組投了簡歷。簡歷在流轉過程中被王堅看到了。這位王堅可是傳奇人物。後來成為了中國工程院院士，阿里雲創始人，主持研發了中國唯一自研的雲操作系統「飛天」，被稱作「阿里雲之父」。但更戲劇性的是他的出身，他是心理學博士，全國第一個被授予工學博士學位的心理學專業學生，1999 年加入 MSRA，後來做到常務副院長。一個學心理的，硬生生在計算機領域打出了「阿里雲之父」的稱號。真是時勢造英雄。2008 年馬雲把他從微軟挖走的時候，外界質疑聲一片，一個學心理的當 CTO？王堅後來說過一句話，「我在 MSRA 補的工程能力」。

這裡可以看出，MSRA對王堅的重要意義。回到張磊簡歷被遞到王堅手裡那天，王堅也在招人。他看了張磊的簡歷，約他吃了一頓飯，把 MSRA 最前沿的項目挨個展示了一遍，自然用戶界面、大規模數據處理、機器學習基礎研究，誠意滿滿。在張磊糾結不知該如何回覆王堅的誠意邀請時，他見到張宏江，張宏江毫無猶豫地說，「你當然應該到我們這個組，你的研究方向就在這裡」。就這一句，方向一致，offer 就定了。在這場「大佬爭天驕」的面試結束第二天，張磊就接到了錄用通知。左林右狸頻道寫到這段，可能很多人都會遐想無限。

如果王堅那次吃飯說服了張磊，這個故事的走向會完全不同，張磊可能會跟著王堅一路走到阿里雲，成為「飛天」的核心技術骨幹。但歷史沒有如果。張宏江一句「你當然應該到這邊」，把張磊留在了多媒體檢索和計算機視覺這條線上。後來回看，這可能是對的，但錯過王堅，確實是一件讓人扼腕的事。那一年，有 40 位華人一同加入 MSRA，張磊只是其中一個。轉折發生在 2002 年。微軟總部產品組要把人臉檢測功能集成進 Windows，在當時這是一件極其困難的事，計算機「看」人臉，誤報率高得離譜，你給它一張照片，它告訴你這裡有張人臉，然後你一看，是一個路燈。

MSRA 內部決定來一場賽馬，兩個團隊 PK，誰的算法更好，誰活下來。一方是李子青。他是人臉識別專家，在 MSRA 研發出世界首個實時人臉識別系統 Eye-CU。2002 年在微軟技術狂歡節上被比爾·蓋茨親自演示，那天 CNN 的記者也在場，他先讓 Eye-CU 識別了自己，然後對蓋茨說，能不能識別你才是關鍵。蓋茨坐下，系統成功識別，CNN 隨後做了專題報道。李子青還和印度裔計算機視覺泰斗 Anil K.Jain 合編了全球第一部《人臉識別手冊》，這是人臉識別領域的第一部權威論著，至今仍是必引的經典。另一方就是張磊。張磊他本行是圖像檢索，人臉只是個「副業」，某種程度上是被拉進來的。

他帶著肖嶸、朱瓏、陳龍斌，全部身家就這幾個人。更要命的是，如果這場 PK 輸了，整個 Face 組可能面臨瓦解。張磊做的第一件事，讓朱瓏後來唸叨了很多年。他沒有立刻開始寫代碼，而是先對此前所有的人臉檢測算法做了一次全面評估。結果讓人倒吸涼氣，誤報率「買一送一」，檢測出一個正確人臉，就帶出一個錯誤結果。張磊突然意識到一個問題，學術指標和工程指標，是兩碼事。學術論文裡比的是「檢測率」，但在實際產品中，用戶根本不關心你的檢測率是 95% 還是 97%。用戶關心的是，你能不能只把人臉標出來，別把路燈、樹、路牌也標上。

一個「買一送一」的50%失敗率的系統，丟給幾億 Windows 用戶，微軟的信譽會直接崩掉。於是張磊做了一件在當時的 MSRA 幾乎沒人做的事，重新設計評價體系。他問了一個根本問題，用戶對產品的核心需求到底是什麼？圍繞這個答案，他重新定義了什麼是「好」的人臉檢測，不是檢測率最高，而是誤報率最低。然後，他用C++重寫了全部推理代碼，加了可視化分析模塊，讓算法的每一個決策都能被看到、被理解、被改進。三個月後。誤報率從「買一送一」降到 1%，召回率同步大幅提升。最終，方案被集成進了 Windows。

這是微軟第一代真正產品級的人臉檢測算法，全球數億用戶的電腦裡，運行的是一個 30 歲出頭、博士畢業不到兩年的年輕人，帶著三四個實習生寫出來的代碼。多名當事人，後來對左林右狸頻道做過回憶：PK 的結果傳到 MSRA 各個組的時候，整個研究院都震了一下。不是因為張磊贏了，而是因為他贏得太徹底了。一個做圖像檢索的人，在人臉檢測這件事上，贏了人臉識別領域最權威的專家，而且不是險勝，是完全碾壓。沈向洋記住了他。沈向洋當時是李子青團隊的上級，自己手底下的王牌被打敗了，正常人的反應是不爽、不服、或者裝作沒看見，但他不是。張磊後來回憶說，PK 完之後他那邊被打敗了，就記住我了，語氣平淡得像在說一件小事。

這件事的分量，左林右狸頻道得解釋一下。中國這邊。沈向洋是 MSRA 的第三任院長兼首席科學家，後來一路做到微軟全球執行副總裁，這是華人在微軟歷史上做到的最高職位。被他記住，意味著在職業生涯的關鍵節點上，有了一雙始終關注你的眼睛。朱瓏對張磊從此心服口服。朱瓏是那種極其自信甚至有些自負的人，後來創立依圖科技，在安防人臉識別領域做到了行業第一，估值一度超過 150 億人民幣，是中國 AI」四小龍」裡最具技術實力的那一個。他在依圖內部幾乎不夸人，但提到張磊，從來都是「那是真正的工程大師」。他說，張磊是他見過工程能力最強的研究員，「他寫代碼的速度和質量，我到現在都趕不上」。

顏水成，就是後來當選新加坡工程院院士的那個顏水成，在多年後的一次聊天中對別人說，「要是沒有張磊帶著隊伍，這個組可能就完全瓦解了」。這不是客套話。在當時的 MSRA，一個組被 PK 掉的結果就是撤銷，組員各自分流。張磊等於用三個月時間，救了整個組、救了所有人的職業生涯。但左林右狸頻道覺得，這場賽馬最深遠的意義，其實不在這裡。最深遠的意義在於，張磊當時帶的這撥人，後來全都成了中國科技產業各領域的扛鼎人物。他的實習生中甚至還有黃崢。黃崢，那時還只是一個從浙大過來實習的大四學生，做的是「圖像檢索、查重」基礎工作，張磊是他人生中第一個真正的 mentor。

黃崢後來赴美讀碩士，加入谷歌，2007 年回國，2015 年創立拼多多，短短三年就在納斯達克上市。到 2020 年，黃崢身價一度超過馬雲，成為中國第二大富豪。拼多多市值巔峰突破 2000 億美元，以一己之力在中國電商版圖上切開了一道誰都無法忽視的口子。而這道口子的第一刀，是從 2002 年 MSRA 那個昏暗的實驗室裡，跟著張磊一行一行 debug 代碼開始的。顏水成北大本碩博連讀、博士後訪學UIUC，在計算機視覺領域的研究橫跨人臉識別、行人重識別、圖像分割等多個子方向，Google Scholar 引用超過 8 萬次。

新加坡工程院是新加坡工程領域的最高學術機構，中國人在海外當選工程院院士的鳳毛麟角。但他本人談起張磊，總是非常敬佩。肖嶸本碩博都畢業於南京大學，在團隊裡是統計學習方向的專家，如今是雲天勵飛的技術 VP，這家公司是國內 AI 視覺領域的上市公司，市值一度超過百億。還有許鵬飛，曾任滴滴智能駕駛視覺負責人，如今是新鑑智機器人的 CTO，這家公司在智駕量產規模上處於領跑地位。王長虎從微軟出來後加入字節任 AI Lab 總監，後來又創辦了愛詩科技，公司躋身 AI 視頻生成領域全球第一梯隊，估值超 20 億美元。一棵樹最牛的證明，不是它自己長得多高，而是它的枝條上掛了多少果實。

那時候，張磊不到 32 歲，博士畢業不到兩年。03 三顧頻煩天下計，天下誰人不識君從 2001 年到 2021 年，張磊在微軟待了整整二十年。從北京到西雅圖，從 MSRA 到 Bing 到 Azure，每一次關鍵轉折，都有一個人的身影，沈向洋。2013 年的一個晚上，沈向洋與張磊進行了一次通話，通話的內容是：邀請張磊加入 Bing。沈向洋當時剛剛升任微軟全球執行副總裁，他接手的第一個任務是去 Bing 救火。那時候的 Bing 在搜索引擎市場上被谷歌打得毫無還手之力，谷歌的全球份額超過 90%，Bing 連 10% 都不到。

沈向洋需要帶一些真正能打的人過去，把 Bing 的技術底子翻一遍，他第一個想到的人，是張磊。張磊幾乎沒有猶豫，飛赴美國加入 Bing。在 Bing 的一年半里，張磊做了兩件後來被寫進微軟技術史的事。第一件，他從零搭建了微軟最早的名人識別系統，單模型直接識別 20 萬人，準確率 99%。這個數字放在今天可能不覺得什麼，但在 2014 年，深度學習剛剛開始在工業界落地，大規模人臉識別還是一件極其複雜的事情。他把這個數據整理後公開發布，成為 MS Celeb 數據集，後來曠視科技等公司拿這個數據集去訓練模型，識別精度直接躍升了一個臺階。張磊不僅自己做到了最好，還順手幫整個行業往前推了一把。

第二件，他主導了 Caption Selection 項目，構建約 2 到 3 億規模的高質量圖文匹配數據。這件事的後續是，OpenAI 重點參考這種圖文匹配的思路，訓練出了 4 億級的 CLIP 模型。CLIP 是今天所有多模態大模型的奠基性工作，DALL-E、Stable Diffusion、Midjourney，你刷到的每一張 AI 生成的圖片，追溯到源頭都跟 CLIP 有關。而 CLIP 的數據訓練思路，源自張磊在 Bing 搭的那個數據集。2015 年，張磊覺得在 Bing 的工程任務太重了，想回到純粹的科研環境，轉入微軟研究院 MSR。

一年多後，微軟內部組建視覺研究團隊，沈向洋又找到他。「回來吧，視覺這邊需要一個真正懂的人來整合。」這一次，沈向洋要解決的是一個歷史遺留問題。微軟的視覺研究力量散落在全球好幾個研究組裡，各自為戰，同質化嚴重，需要一個有足夠技術威信的人來統一方向、調配資源。張磊去了。2018 年，微軟 CEO 薩提亞·納德拉全力推動雲業務，微軟的 AI 精銳被整體劃入 Azure 雲平臺。張磊隨團隊轉入 Azure，他帶了大約 10 個人。就是這個 10 人團隊，做出了 Azure 上超過一半的計算機視覺 API。

他帶隊做的物體檢測，直接對標谷歌雲和亞馬遜 AWS 的同類服務，在多個基準測試的性能指標上完全不落下風。你要知道，2018 年的 AWS 是全球雲服務市場的絕對霸主，谷歌雲憑藉 TensorFlow 生態攻城略地，微軟 Azure 在 AI 能力上並不佔優。張磊的團隊等於是在一個後發的位置上，硬生生靠技術把差距磨平了。2021 年，沈向洋剛剛出任 IDEA 研究院，也就是粵港澳大灣區數字經濟研究院的創院理事長，第三次找到張磊。「Harry 問我，我很快就定了。」張磊回憶。二十年前，張宏江一句「你當然應該到這邊」，把張磊留在了視覺這條線上。

二十年後，當沈向洋說「來深圳吧」，張磊只用了幾句話就做了決定。2021 年 5 月從微軟離職，6 月回國入職 IDEA 研究院深圳辦公室。從微軟在北京中關村的希格瑪大廈，到西雅圖的微軟總部，再到深圳的 IDEA 研究院。張磊跟著沈向洋，走了一個巨大的圈。一個做到微軟全球執行副總裁的人，花了二十年，三次親自去動員同一個人，這本身就是一個極高規格的認證。04 一劍磨十載，霜寒十四州2021 年回到深圳後，張磊帶了一支主要由實習生組成的年輕團隊，向通用物體感知發起總攻。當時的行業風向已經非常明確了，大語言模型正在吞噬一切。GPT-3 在 2020 年橫空出世，全世界都瘋了。

很多視覺團隊都在拼命往多模態大語言模型上靠，用語言來「指導」視覺，用文本來「理解」圖像。這是 2021 年最主流的路線，也是看起來最聰明的路線。張磊做了一個反共識的判斷。他認為，視覺才是機器與物理環境交互的原生基礎。左林右狸頻道問過他這個問題。他的回答很有意思，「人類發展語言是為了溝通，但機器真正與環境作用時，依賴的是’感知、決策、執行’的閉環。動物沒有語言，同樣憑感知去識別物體、採取行動」。這個判斷在 2021 年是逆著潮流的。那一年所有人都在講 GPT，講大語言模型，講 AGI。你說你專注做視覺基礎模型？投資人會覺得你格局不夠大。

但張磊的邏輯很清楚，如果機器要真正理解物理世界、要在真實環境中行動，也就是今天說的「具身智能」，視覺感知的深度必須在語言之前解決。你不能讓一個機器人先讀一堆文字再去抓杯子，它首先得「看到」杯子、理解杯子的形狀和位置。2022 年初，初代 DINO 發佈。DINO 在 COCO 目標檢測榜單上持續霸榜 5 個月。COCO 是全球計算機視覺領域最權威的目標檢測基準數據集，能在 COCO 上霸榜，意味著你的算法在檢測和理解日常物體的能力上是全球第一。而且不是剛發佈的時候衝上去然後被擠下來，是整整 5 個月沒有人能超越。2023 年初，Grounding DINO 問世。這是範式級別的突破。

在 Grounding DINO 之前，物體檢測是一個「閉集」問題，你只能檢測模型訓練時見過的那些物體類別。比如你的模型訓練時見過貓、狗、汽車，它能檢測這些，但遇到斑馬就不認識了，因為沒見過。Grounding DINO 第一次把語言模型的開放域能力引入物體檢測，你可以輸入任何文字描述，模型就能檢測出對應的物體，哪怕這個物體類別在訓練數據裡從未出現過。這個工作的影響力有多大？PaperDigest 把它列為 2024 年 ECCV 最具影響力論文。ECCV 是計算機視覺領域三大頂級會議之一，與 CVPR、ICCV 並列。

在 ECCV 每年接收的數千篇論文中被評為」最具影響力」，意味著這篇論文在發表一年內就被全球研究者廣泛引用和跟進，成為了一個新的研究範式。團隊沒有停下，又蟄伏了一年多，迭代推出了 Grounding DINO 1.5，在 COCO、LVIS 等多個國際權威基準測試中，力壓谷歌、Meta、微軟的同類模型。這三家是全球 AI 研究的絕對第一梯隊，每年投入數以億計的研發經費，招攬了全世界最聰明的大腦。而張磊帶著一支最初由實習生組成的團隊，在核心指標上贏了它們。

Grounding DINO 和 後來推出的DINO-X，更是被斯坦福李飛飛團隊、英偉達、銀河通用、騰訊 Robotics X Lab 等全球最頂尖的機構廣泛引用。李飛飛的團隊引用你的模型，意味著在全球最頂級的學術圈裡，你的工作被認為是這個領域最前沿的基線，英偉達引用你的工作，意味著工業界巨頭已經在產品線上用你的技術了。沈向洋罕見地在社交媒體上轉發了這個消息。這個人一年發不了一條動態，被圈內戲稱為「年更博主」。他能轉發，不是因為張磊是他的人，而是因為 Grounding DINO確實做到了他這個級別的人也覺得「值得轉」的水平。關於模型的名字，左林右狸頻道問過。

答案是意外地隨意，帶孩子去動物園，看到了犀牛，想到了 DINO。在美國，DINO 是小朋友對恐龍的口語叫法。後來基於視覺提示做物體檢測的模型叫 T