復旦發佈以人為中心的複雜場景音視頻追蹤基準

2026年9月15日 20:46
復旦發佈以人為中心的複雜場景音視頻追蹤基準
站內 AI 整理稿

復旦大學近日正式發布一項專注於以人為中心的複雜場景音視頻追蹤基準測試,這項基準填補了該領域在真實環境評估上的重要缺口。隨著人工智慧與多模態感知技術的快速發展,如何在動態、遮擋、光照變化與多人交互等複雜條件下穩定追蹤目標人物,已成為學術界與產業界共同關注的核心挑戰。復旦團隊推出的這套基準,正是為了解決既有評測標準過於簡化、缺乏場景多樣性等問題。該基準測試的設計緊扣「以人為中心」的核心理念,強調在實際應用中經常遭遇的複雜情境。例如擁擠的人群、部分或完全遮擋、快速移動、多目標交錯以及音視頻信號的異步干擾等。

與傳統僅依賴視覺或僅依賴音頻的追蹤任務不同,這套基準融合了視覺與聽覺資訊,要求演算法同時處理來自攝影機與麥克風陣列的數據,在時空上對目標進行一致性的定位與狀態估計。從技術架構來看,這項基準包含多種不同難度的場景子集,每個子集都經過嚴格的標註與校驗。測試數據採集自真實環境而非合成場景,確保了評估結果的現實參考價值。場景涵蓋室內與戶外、白天與夜晚、靜態與動態背景等多種變量,使得模型在面對實際部署時能夠更全面地暴露其優劣。此外,基準也提供了標準化的評價指標,包括追蹤準確率、追蹤穩定性、音視頻融合一致性以及計算效率等面向。

復旦大學研究團隊在發布時指出,現有追蹤基準多數僅針對單一模態設計,且場景設置較為理想化,難以反映真實世界中多變的條件。例如,當目標人物轉身、被障礙物遮擋或背景雜訊過大時,純視覺方法往往會失效;而純音頻方法則在多人同時發聲或環境回音嚴重時難以區分目標。透過引入音視頻聯合追蹤的評估框架,這項新基準希望激勵學術界開發更具備魯棒性的多模態融合模型。這項基準的推出也反映了人工智慧評測體系從實驗室走向真實應用的趨勢。過去數年,多模態學習成為AI研究的熱點,但缺乏統一、嚴謹的評測標準,使得不同論文之間的比較變得困難。

復旦的這項工作不僅提供了數據集與評估協議,還同步開源了基線演算法與工具鏈,降低其他研究者參與測試的門檻。這對於推動以人為中心的感知技術在智慧監控、人機互動、自動駕駛、機器人導航等領域的落地具有直接幫助。從產業角度來看,這項基準的發布也回應了企業對於演算法效能客觀驗證的需求。在安防、零售、無人車等行業,精確追蹤特定人物是許多應用的基礎。然而,目前市面上缺乏公開、公平且貼近真實場景的測試平台,導致廠商在產品宣稱時往往難以驗證。復旦基準提供了可重複的評測流程,有助於形成行業標準,促進良性競爭與技術進步。值得關注的是,這項基準特別強調了「以人為中心」的特性,而非單純的物體追蹤。

這意味著追蹤對象不僅是一個移動的點,還包含了人的身份、姿態、動作以及與環境的交互等語義資訊。因此,評估不僅關注位置,也考慮到對目標行為的理解與預測。這對演算法的語義理解能力提出了更高要求,也使得基準本身具有更強的應用導向。在具體數據規模上,雖然來源資訊未提供詳細數字,但根據基準的複雜程度推斷,其涵蓋的時長、場景數量與標註精度應達到國際頂尖水準。復旦團隊此前在多模態感知與電腦視覺領域累積了豐富經驗,此次基準的發布被視為其研究成果的一次系統性輸出。業內人士認為,這項基準的出現將有助於統一評價口徑,並可能影響未來相關國際競賽的設計方向。

總體而言,復旦大學發布的以人為中心的複雜場景音視頻追蹤基準,為多模態追蹤技術的發展提供了一個更貼近真實需求的測試平台。隨著後續更多團隊基於該基準進行演算法研發與比較,這一領域的技術邊界有望被進一步拓展。同時,它也提醒整個行業:在AI能力快速增長的同時,評測體系的完善與標準化同樣不可或缺。

Related

相關文章

國內首個半導體工藝保護流體材料重大突破

本文作者: 徐咪 2026-11-03 17:41 導語:上海凱銳恩將持續加大研發與產業化驗證投入,深化與國內半導體設備企業的協同合作,將半導體工藝保護流體成型技術推向全球市場。歷時近七年自主攻關,上海凱銳恩半導體科技有限公司成功開發出應用於晶圓級工藝保護的流體成型材料及配套熱壓成型設備,建立起完整的知識產權體系,實現“材料+設備+工藝”三位一體。

3 小時前

預售24.98萬起,全系搭載寧德電池,LS8 NEO能否撬動25萬級市場?

25萬級SUV的市場正在呈現鮮明的對比:增程賽道的競爭日漸旺盛,而純電市場回暖增長。在4月發佈的LS8增程版本基礎上,智己順勢推出了LS8 NEO,卡位純電競爭。預售權益價為24.98萬起,新車定於11月5日正式上市。在這臺25萬級的SUV上,全系標配了寧德時代電池、全線控靈蜥底盤、後輪轉向和800V高壓平臺。

4 小時前

xTool 的「快」與「難」:硬門檻、多線程研發與生態擴張

一個女孩在生成器裡輸入了第一次約會的日期和城市。那天是農曆十六,他們在海邊,月亮又大又圓。系統調取 NASA 的真實月相數據,還原了當晚月亮的樣子。她把它雕刻出來,做成一盞可以捧在手裡的月亮燈。這輪月亮,在任何一個模型網站上都找不到。因為那是隻屬於她的月亮。

4 小時前

阿里達摩院玄鐵 C950 榮獲“中國芯”年度重大創新突破產品獎

11月2日,以“智啟芯途 協同共生”為主題的 2026年“中國芯”集成電路產業促進大會暨第二十一屆“中國芯”優秀產品徵集結果發佈儀式在珠海橫琴舉行。大會匯聚集成電路領域院士、專家與產業代表,共同交流技術創新與產業協同發展的新路徑。本屆大會上,阿里巴巴達摩院旗下玄鐵 C950 榮獲“年度重大創新突破產品獎”,表彰玄鐵 C950 在高性能 RISC-V 處理器領域取得的實質性技術創新突破。

8 小時前

速賣通雙11開門紅!品牌成交同比大漲200%

海外雙11於11月1日正式開賣,記者從阿里旗下跨境電商平臺速賣通獲悉,開賣首日,速賣通Brand+品牌生意火爆,和去年11月1日大促相比,成交大漲超200%,滲透率突破50%。 在稅改、監管變動的大背景下,速賣通搶先佈局品牌化+本地化,成為品牌出海全新主場。多個國家市場的品牌成交均實現三位數增長,其中歐盟逆勢大漲181%,美國、韓國增長超4倍,巴西也實現翻倍增長。 海外雙11首日還湧現出一批新的百萬美金商家。除手機品牌小米、POCO、榮耀外,儲能品牌Oukitel、電氣設備品牌Zendure、清潔家電品牌Laresar等,首日成交額均突破100萬美元。 (多個速賣通品牌商家表示雙11銷量超預期) “銷量超預期!”“賣得最快的一次!”是速賣通品牌商家們對這次雙11的普遍感受。在Brand+計劃的護航之下,速賣通多個品類在多個國家市場實現全面開花。 電氣設備品牌EcoFlow橫掃歐美。今年9月,EcoFlow在柏林國際消費電子展上與速賣通Brand+達成合作,隨後即在雙11大促中迎來相比日銷150倍的爆發,拿下德國市場家裝類目單品Top1。 家居體脂秤品牌沃萊合作速賣通網紅帶貨,“平均1分鐘出3單!”雙11首日銷售額相當於近一個月總和的3倍。 清潔電器品牌Uwant聯合Brand+在韓國新品首發集塵站吸塵器V600,首日銷售額超10萬美金;1200臺除蟎儀40分鐘售罄;品牌銷量首日同比去年增長218%。 咖啡用具品牌1ZPRESSO,通過Brand+提前鎖定價格和庫存,強勢綁定韓國網紅測評及團購資源,爆款單品的首日銷量追平8月大促全週期。 騎行運動品牌RAMYPOCKET及ELITEWHEELS也雙雙在歐洲“拿到大結果”。通過提前在速賣通歐洲官方倉備貨超萬臺,跑步機品牌RAMYPOCKET首日賣出近2000臺跑步機,自行車輪組品牌ELITEWHEELS銷售額同比增長超300%。

10 小時前

中國市場賣爆了,蘋果年淨利8800億!新CEO回應iPhone Duo裂屏

作者 | 楊京麗 編輯 | 雲鵬 11月3日報道,今天凌晨,蘋果公佈2026財年第四季度(對應自然年2026年第三季度)及全年財務數據。財報發佈後,新任CEO約翰·特努斯(John Ternus)首次主持蘋果財報電話會。 本季度,蘋果營收達到1144.77億美元(約合人民幣7611億元),同比增長11.7%;淨利潤達到307.11億美元(約合人民幣2042億元),同比增長11.8%;攤薄後每股收益為2.10美元(約合人民幣13.96元),同比增長約14%。

10 小時前