IT之家生成式AI

商湯發佈並開源 SenseNova-Vision 理解生成統一視覺大模型,能力超越 Vision Banana

2026年7月13日 12:38
商湯發佈並開源 SenseNova-Vision 理解生成統一視覺大模型,能力超越 Vision Banana

重點摘要

商湯科技發布並全面開源日日新 SenseNova-Vision 統一視覺大模型,讓各類視覺任務原生整合於單一模型,在多項評測中大幅領先同類模型。此模型在結構化理解、稠密幾何、分割及多視角3D等任務上表現出色,全面超越 Vision Banana,並同步開源五千萬條樣本的視覺指令語料庫。

站內 AI 整理稿

商湯科技今日正式發表並全面開源「日日新 SenseNova-Vision 理解生成統一視覺大模型」,這是商湯日日新大模型體系在視覺能力上的重大升級。不同於過去業界常見的「統一視覺」做法——將檢測、分割、深度預測等多個專家模型簡單打包封裝,本質上仍是各自獨立的系統——SenseNova-Vision 從根本上改變了視覺模型的設計思維,讓視覺成為通用基礎模型的原生能力,徹底融入大模型體系。這項變革使得所有經典視覺任務,包括目標檢測、圖像分割、深度預測、3D 重建等,都在同一個模型中實現真正的原生統一。

在多項權威評測中,SenseNova-Vision 以單一模型在四大核心視覺領域大範圍領跑,表現比肩甚至超越各領域的專用專家模型。在結構化視覺理解方面,該模型在目標檢測、指代檢測(Referring)、光學字元辨識(OCR)、關鍵點定位等任務上全面領先同類型通用模型,尤其在稠密小目標檢測與長尾類別識別等複雜場景中表現格外突出。稠密幾何預測領域,SenseNova-Vision 的深度估計與表面法向(Surface Normal)估計精度已達到幾何專用模型的水準,無論在室內或室外多樣場景下都能維持極高的穩定性。

在分割能力上,SenseNova-Vision 涵蓋通用分割、推理分割、交互式分割等多種模式。得益於其強大的多模態理解能力,該模型在推理分割(Reasoning Segmentation)與對話式分割(GCG Segmentation)的表現令人驚豔,能根據使用者輸入的語言指令或對話內容精準完成分割任務。此外,在多視角 3D 幾何方面,SenseNova-Vision 僅透過單一模型即可高品質完成多視角點雲重建與相機位姿估計,性能在通用視覺路線中處於領先位置。商湯在橫向對比中進一步凸顯了 SenseNova-Vision 的優勢。

對比語義導向模型(如 Youtu-VL 等),SenseNova-Vision 在檢測、分割、深度等對細節要求極高的視覺任務上實現全面領先;對比生成導向模型(如 Vision Banana 等),則展現出全面的代際優勢。在核心指標上,SenseNova-Vision 在各項權威評測的硬核對決中,絕大多數指標均超越 Vision Banana,並且具備更強的多任務泛化實力。例如,Vision Banana 僅能應對四大核心板塊中的「兩類」問題,而 SenseNova-Vision 能同時將結構化理解、稠密幾何、全景分割、多視角 3D 等全任務一網打盡。

更重要的是,SenseNova-Vision 不僅在效能上實現突破,更採取全面開源策略,模型與數據均對外開放。商湯同步開源了包含五千萬條樣本的視覺指令語料庫 SenseNova-Vision Corpus-50M,為學術界與產業界提供豐富的訓練資源。這項開源舉措有望加速視覺基礎模型的社群發展與應用落地,降低開發者自建模型的门槛。商湯也預告,未來將把 SenseNova-Vision 的核心技術全面融入日日新 U 系列大模型中,進一步強化商湯在通用人工智慧領域的佈局。

業界分析指出,傳統的統一視覺模型多採用「拼湊」方式,將不同任務的專用模型以模組化方式組合,雖然也能處理多種任務,但模型之間缺乏真正的共享表徵,導致效率與泛化能力受限。SenseNova-Vision 則從模型架構層級實現原生統一,讓視覺理解與生成能力在同一基礎模型中同步學習與推理,這種設計不僅減少冗餘參數,也提升跨任務的知識遷移效果。商湯的技術文件也顯示,該模型在訓練過程中整合大量多模態數據,使模型能夠同時捕捉視覺語義與幾何結構,從而達成比擬專用模型的高精度。對於此次開源,商湯強調這並非一次性的模型釋出,而是希望建立一個開放、協作的視覺基礎模型生態。

透過公開模型權重、訓練代碼與大規模標註數據,開發者可以直接下載使用,或依據自身需求進行微調。商湯也提供了完整的開源地址(GitHub 上的 OpenSenseNova 組織),讓使用者能夠快速上手。此舉呼應了當前人工智慧領域開源與共創的趨勢,預期將吸引更多研究機構與企業參與視覺基礎模型的改進與應用。從市場角度來看,商湯選擇在此時推出 SenseNova-Vision,並直接與 Vision Banana 等競品進行正面對比,展現出強烈的技術自信。過去幾年,視覺基礎模型領域競爭激烈,各家廠商紛紛推出自家統一模型,但實際效能與通用性仍有落差。

商湯此次提出的「原生統一」架構,不僅在評測數據上取得領先,更將開源作為核心策略,試圖透過社群力量加速技術迭代。業界人士認為,SenseNova-Vision 的發布有望重新定義視覺基礎模型的標準,並推動更多應用場景如自動駕駛、機器人、醫療影像、工業檢測等領域的升級。商湯日日新大模型體系自推出以來,持續在多模態、語言、視覺等方向進行整合與升級。SenseNova-Vision 作為視覺能力的旗艦模型,其開源也意味著商湯對技術開放度的重視。未來,隨著該模型融入日日新 U 系列,商湯的整體大模型能力將進一步強化,為企業級客戶與開發者提供更全面的 AI 解決方案。

此次發布不僅是技術里程碑,也可能影響整個 AI 視覺市場的競爭格局。值得注意的是,商湯同時發布的視覺指令語料庫 SenseNova-Vision Corpus-50M 同樣具有重要價值。該數據庫包含五千萬條樣本,涵蓋多種視覺任務的指令與對應輸出,能夠有效支援多模態模型的指令微調。這項數據資源的開源,對於缺乏高品質標註數據的中小型團隊而言,將是極大的助力,也有助於標準化視覺模型的評測與比較。整體而言,商湯 SenseNova-Vision 的發布與開源,標誌著視覺基礎模型從「多模型拼裝」正式邁向「原生統一」的新階段。

其在結構化理解、稠密幾何、分割與 3D 重建等核心領域的全面領先,以及對 Vision Banana 等競品的代際超越,展現出商湯在視覺 AI 領域的深厚技術積累。未來,隨著開源社群的參與和日日新 U 系列的整合,SenseNova-Vision 的影響力可望持續擴大,為 AI 視覺應用帶來更多可能性。

Related

相關文章

MarkTechPost AI生成式AI

NVIDIA AI 推出 NOOA:將 AI 代理轉化為單一 Python 類別的物件導向框架

NVIDIA 實驗室開源了 NOOA(NVIDIA 物件導向代理),這是一個與模型無關的 Python 框架,用於建構 AI 代理。傳統的代理開發分散在提示模板、工具架構、回呼程式碼和工作流程圖中,而 NOOA 將所有這些整合到一個 Python 類別中:方法代表模型可採取的動作,欄位代表代理狀態,文件字串作為提示,型別註解則是執行時期強制執行的合約。主體為「...」的方法由 LLM 驅動的迴圈在執行時期完成,而具有正常主體的方法則保持確定性的 Python 程式碼。開發者與模型因此共享同一介面,使代理行為能像一般軟體一樣進行測試、追蹤、重構和版本控制。NVIDIA 報告在 SWE-bench Verified 上達到 82.2%,在 CyberGym L1 上達到 86.8%,平均 RHAE 為 85.1%。

38 分鐘前

六巨頭定AI插件新標準,撞臉Claude,Anthropic沒上桌

六大科技巨頭(AWS、Anysphere、GitHub、微軟、OpenAI、Vercel)聯合發布AI智能體插件統一開放規範Agent Plugins 1.0.0,旨在統一插件打包格式,減少開發者重複勞動。該規範的結構與Anthropic的Claude Code插件系統高度相似,但Anthropic並未參與制定,而是繼續經營自己的封閉生態。

2 小時前
鈦媒體生成式AI

DeepSeek重啟融資,三年市值對齊騰訊?

DeepSeek重啟第二輪融資,以5000億元人民幣估值尋求籌集80億美元,但網傳一份由小型醫藥私募發起的專項基金募資材料引發網友質疑,後經DeepSeek員工證實部分數據屬實。該公司近期宣布API大幅漲價,可能打破其以低價換規模的估值邏輯,面臨客戶流失風險。市場關注其能否從「價格屠夫」轉型為價值提供商,以及三年內市值能否對齊騰訊等巨頭。

3 小時前

可靈AI核心技術骨幹王鑫濤被曝離職

快手可靈AI核心技術骨幹王鑫濤被曝離職,去向未知,快手官方與本人均未回應。王鑫濤是圖像與視頻生成領域知名開源項目主要作者,被視為可靈從0到1的關鍵推手。其離職發生在可靈完成獨立融資、估值180億美元的關鍵階段,可能影響研發進度與競爭優勢。

3 小時前