說好“多模態不是主線”的梁文鋒,怎麼轉頭就發了個Vision模型?

字母AI2026.08.24 20:17 · 來自北京全文7138字00:00 / 18:44多模態這事上,梁文鋒還是梁文鋒,但他學會了放低姿態。文 | 字母AI在多模態這個問題上,梁文鋒在那次投資人交流會上曾這麼說過:“多模態佈局,我們一直在做。對產品來講,它很重要;對C端用戶產品來講,它很重要。但是對智能的上限,它是一個組件,它不是主線本身。我們應該會上相關的模型,就是我們V4的後續版本會支持原生的多模態。”梁文鋒也的確做到了。2026年8月21日,DeepSeek上線了DeepSeek V4 Flash Vision Exp,DeepSeek官方稱,這是一個多模態視覺理解模型。
和V4 Flash以及V4 Pro不同,DeepSeek V4 Flash Vision Exp沒有技術報告,也沒開源,官方只給了一張性能表和幾個演示案例。可DeepSeek V4 Flash Vision Exp怎麼看都不像是個“組件”。以往來看,DeepSeek OCR、DeepSeek OCR 2這樣的模型才貼合梁文鋒口中“組件”的定位。這些模型的作用,是把圖片以像素形式存在的文字,轉換成電腦可以識別的純文本字符。因此,相較DeepSeek OCR而言,DeepSeek V4 Flash Vision Exp更像是一個“主線”模型。難道梁文鋒對多模態的看法改變了?事實可能並非如此。
不過有一點可以肯定,那就是梁文鋒學會了放低姿態,用產品和用戶形成更密切的交流。梁文鋒此前曾說,“通往AGI要經過產品這個臺階,但不用花太多精力做C端、B端。”而隨著DSH的爆火,發佈後不到一個星期,DS就發佈更新,提升了多模態能力。過去的梁文鋒對於產品有一種“偏執”,不完美不發佈。DeepSeek V3.2版本和DeepSeek V4預覽版之間,相隔足足4個半月,如果從V3正式發佈開始算,僅僅1個大版本,就用了1年零4個月。現如今不僅更新變快了,還把DeepSeek V4 Flash Vision Exp這種實驗性質的模型開放給公眾,都是在說明梁文鋒態度上發生了一些轉變。
多模態是Agent和推理的入口如果你是練跑步的,那麼你應該給別人看的成績你跑了多少米用了多少秒,這樣別人才知道你到底是快還是慢。但如果你告訴別人的是三分球命中率是多少,那很顯然,你想告訴別人的是你有多準。DeepSeek V4 Flash Vision Exp也是如此,它想表達的事情,遠非是一個展示DeepSeek現有的多模態能力那麼簡單。明明是一個多模態模型,官方公佈的測評裡,放的卻是一串Agent基準。比如Terminal Bench 2.1得83.9,DeepSWE 59.3。其實在AI視覺模型圈裡有一套默認的考卷。
一個新視覺模型發佈,通常要放的是這幾項:MMMU,跨30個學科、大學水平的圖文理解與推理,考“看到圖能不能做對題”;MathVista,考圖片裡的數學推理;DocVQA,考從掃描文檔裡找到答案;ChartQA,考讀懂圖表裡的數字和趨勢;OCRBench,考最基礎的文字識別。無論是Qwen-VL、Gemini 還是GPT-4o,發新版本的時候,展示的都是這套基準。即便是DeepSeek V4 Flash Vision Exp也放了一些多模態側的基準,然而這些基準也“不太正經”,充滿了濃濃的Agent味。
Chartography考的是專業人士讀專業圖表做決策,ApexBench是多模態Agent基準,Agents’ Last Exam 是通用Agent評測。沒有一項是“看圖答題”,全是“看完圖,把事做下去”。這張跑分圖,本身就是DeepSeek的一種暗示。梁文鋒自始至終都認為多模態不是AGI的主線,DeepSeek V4 Flash Vision Exp是DeepSeek在Agent跟推理這條主線上的一個必然產物,只不過它剛好也是“多模態”罷了。
DeepSeek V4 Flash Vision Exp所展現出來的價值觀是,多模態從來不是讓你“看圖聊天”,而是讓Agent看懂網頁截圖、讀懂圖表數據、理解UI佈局,然後把任務做下去。多模態不是目的,是手段,是給主線用的插件。DeepSeek的主線仍然是Agent和推理,DeepSeek V4 Flash Vision Exp所幹的事,也不過是強化了產品的推理能力。雖然DeepSeek V4 Flash Vision Exp這個很神秘,但它也並非是一個憑空出現的模型。
4月29日晚,DeepSeek多模態負責人陳小康(Xiaokang Chen)在X平臺發文預告,配文 “Now, we see you”,宣佈DeepSeek多模態識圖功能開啟灰度測試。第二天,DeepSeek正式在GitHub發佈技術報告《Thinking with Visual Primitives》(以視覺原語思考)及配套倉庫。論文作者單位包含DeepSeek、北京大學、清華大學,屬於三方聯合研究成果。然而這篇論文在5月1日凌晨就被刪除,相關官宣推文也消失不見,GitHub官方倉庫直接變為404狀態,項目徹底無法訪問。DeepSeek全程未發佈任何撤稿公告,也沒有公開解釋原因。
好在,社區留下了這篇論文的拷貝版本。這篇論文沒有去講“我們模型看得多清楚”,而是提出一個問題:模型能看見,但不一定能想清楚。傳統多模態模型用自然語言描述圖片裡的對象,比如“左邊那個男的”“右邊那個高的”。可是在複雜場景裡,這種描述非常模糊,模型很容易越推越亂,最後導致整個邏輯崩塌。就拿集體照來說,左邊一共好幾個男的,那麼哪個男的才是模型所描述的那個?DeepSeek的解法,是把點座標和邊界框提升為“思維的最小單元”,直接嵌進推理鏈,讓模型“邊推理邊指向”,就像人數東西時會伸出手指,一個一個點著數。
靠這套機制,模型在計數、空間推理、迷宮導航這類任務上,把抽象的判斷精確錨定到圖像座標,從“左邊那個男的”、“右邊那個高的”,變成了“我手指的這個”、“我手指的那個”。6月,經過DeepSeek官方確認,其在客戶端和網頁端上線的Vision模式,底層就是這套視覺原語機制。而DeepSeek V4 Flash Vision Exp,是把同一套技術嫁接到了V4-Flash的API基座上,重點強化多模態Agent能力,核心推理邏輯完全沿用了論文的方案,沒有跳出其技術框架。不僅如此,論文當時的實驗,就是基於DeepSeek-V4-Flash作為語言骨幹所搭建的多模態方案。
這次的DeepSeek V4 Flash Vision Exp光看名字也知道,仍然使用的是DeepSeek-V4-Flash。除了DeepSeek V4 Flash Vision Exp這個模型,DeepSeek在多模態方面的進展還體現在DSH上,8月19日晚,作為DeepSeek目前的主力產品,DSH更新了rc.8版本,提升了Agent的多模態能力。rc.8的核心,是DeepSeek在多模態這件事上,“兩條腿”走路。一條叫“原生直通”。rc.
8給模型適配器加了可配置的原生圖片請求能力,只要底層模型聲明支持視覺輸入,比如GLM、Qwen,或者剛上線的V4-Flash-Vision-Exp,Harness就把圖片原封不動送進模型,不做任何中間加工。另一條叫“工具層視覺”,服務的是純文本模型。比如用DeepSeek自己的V4-Flash,直接讀圖會失敗。這時Harness不會報錯退出,而是自動降級成一套工具鏈,先做OCR識別文字,再統計圖片顏色比例、掃描部分像素行、讀取尺寸和顏色模式,把這些信息拆成結構化證據,最後交給文本模型去推理整張圖。
Cherry Studio的核心創始人Yinsen把這種方式稱為“偽視覺”,對付PPT截圖、流程圖、界面這類結構清晰的圖夠用,面對真實照片和複雜的空間關係就很勉強。但要說明的一點是,DSH在rc.8之前,甚至連“偽視覺”都沒有,全靠社區的視覺插件,還有通過pi2dsh橋接進來的視覺方案。它們的做法大同小異,先調一個外部的視覺模型(比如 GLM、Qwen)把圖片識別成文字,再把結果塞回文本模型。這些插件證明了DSH架構的開放性,也同時暴露了一件事,DeepSeek自己沒有視覺模型,只能借別人的眼睛。DSH還有哪些可以補足?正如開頭提到的,雖說梁文鋒沒有改變舊觀點,但梁文鋒也學會放低了姿態。
2025年,在DeepSeek R1驚豔全球之後,社區就開始等待DeepSeek發佈V4。2025年下半年,隨著V3.1、V3.2等迭代版本陸續推出,無數媒體“獨家爆料”,稱DeepSeek下一代旗艦大模型V4,計劃於2025年7月、8月、9月……直至2025年年底發佈。結果自然是無一準確,堪稱現代版狼來了。2026年春節前,距離V3 發佈已經過去400多天,所有人都在賭DeepSeek會復刻春節檔R1的奇蹟,把V4卡在農曆新年這個節慶日子上線。結果2月4日,外媒援引消息人士的話,稱春節期間V4不會發布,DeepSeek官方也對此事保持沉默。然後時間線一路後移。
最後到了4月24日,V4才以預覽版的形式登場,一次同時放出了V4-Pro和V4-Flash。梁文鋒的產品觀是,寧可跳票,也不肯在產品沒有完全做好的前提下發布。可也就是在這段時間裡,DeepSeek“掉隊”了。國際方面,2025年8月,OpenAI發佈了GPT-5;11月,Anthropic發佈Opus 4.5。這兩款模型都是問鼎全球的性能榜的產品。而在國內,2025年4月Qwen 3,不到半年後,阿里一口氣放出來了Qwen3-VL、Qwen3-Omni、Qwen3-Max、Qwen3-Coder。還有Kimi的首個原生多模態模型K2.5、智譜的GLM-4.7、MiniMax的M2.
1、騰訊的hunyuan world等等,數不勝數。與之相對的,DeepSeek發佈的產品只有V3.1(8月V3.1,9月V3.1-terminus)和V3.2(12月)。除了DeepSeek,全世界都在以月為單位發佈模型,Anthropic更是以天為單位,在2026年2月1日到3月末,52天的時間裡發佈了73款功能和產品。假如梁文鋒是大廠的產品經理,以他發產品的效率,恐怕撐不過試用期就得被開除。只可惜DeepSeek是他的。正式版更磨人。6月29日,DeepSeek給全體API開發者發郵件,明確表示V4正式版7月中旬上線。7月21日,有消息表示正式版將要延期,目標挪到7月底。
7月28日,又有消息說可能拖到8月10日至20日之間。7月31日,V4-Flash正式版才千呼萬喚始出來,而V4-Pro正式版,直到8月12日晚間才正式上線。梁文鋒對待產品,不做到自己滿意,絕對不放出來。可到了DeepSeek V4 Flash Vision Exp這裡,明顯味道變了。模型上線當晚,社區就開始對其進行檢測。根據實測顯示,DeepSeek V4 Flash Vision Exp連梁文鋒本人最具代表性的一張照片都無法識別。
不僅如此,還有用戶反饋,稱DeepSeek V4 Flash Vision Exp在理解複雜圖表時會漏掉關鍵信息,中文場景的處理偏弱,有人在對話裡插入圖片後,還發現上下文緩存機制受到牽連。一圈看下來,社區對DeepSeek V4 Flash Vision Exp的普遍看法是“效果好像也就那樣”。這個模型就像是在餐館等著上菜,看不見後廚,不知道這盤菜什麼時候才能端上來,廚師怕你等不及,於是從鍋裡盛了一勺給你嚐嚐,告訴你說菜還沒做好,但是在做了。其中的原因,很可能在於梁文鋒持續受到優秀產品的壓力。DSH從立項之初就對標Anthropic的Claude Code和OpenAI的Codex。
8月23日,外媒報道稱Anthropic或將於8月底遞表上市,因此目前正處於靜默期,Claude Code沒有較大的更新。OpenAI卻很激進,8月20日直接開源了Codex Harness,這是支撐Codex運行的底層系統。負責把模型和工具接起來,讓模型能打開文件、執行命令、記住任務進行到哪一步,以及遇到有風險的操作要停下來詢問。但這並不是重點,重點是,在產品邏輯上,Codex Harness把多模態放在了Agent運行時的核心位置。在Codex的工作流裡,圖片不是先交給某個外部視覺模型,再把識別結果轉述給文本模型。模型是可以直接接收截圖、界面和其他視覺輸入的,並把這些內容納入同一條任務鏈。
模型會先理解畫面,再決定要調用什麼工具、修改哪些文件、運行哪些命令,最後根據執行結果繼續修正。正如前文所述,DSH無論是哪條腿,在多模態這件事上,在DeepSeek V4 Flash Vision Exp之前,它都是割裂開的。DSH只負責以“模型處理過的圖片”進行推理,而非用圖片進行推理。顯然,Codex效果更強,首先是因為它減少了一次信息損耗。圖片經過OCR或摘要之後,模型看到的已經不是原始畫面,而是工具挑選出來的文字和特徵。只要處理過的圖片漏掉一些信息,那麼後面的推理就只能建立在不完整的證據上。舉個例子,前面的話就相當於模型處理後的圖片,後面那句話是原圖。
你會發現,僅僅只漏掉一個字,意思就完全相反了。要斷章取義——出自“不要斷章取義”原生視覺輸入則讓模型直接面對圖像,文字、佈局、位置和相互關係可以在同一上下文裡被判斷。其次,Codex把視覺理解和行動閉環連在了一起。它不是單獨回答“這張圖裡有什麼”,而是要根據截圖判斷下一步該做什麼,再通過終端、文件和其他工具驗證結果。就算是中間出錯了,新的截圖和執行反饋還能繼續回到同一條推理鏈裡。這樣一來,多模態就不再是“識別完了就完了,後面發生啥不關我事”的狀態了,而是一個持續的服務,以提高推理的性能。而這一步也是目前DSH所欠缺的。
所以這也是為什麼OpenAI在開源Codex Harness後,DeepSeek會立馬開源DeepSeek V4 Flash Vision Exp,梁文鋒是想告訴用戶,別急,別人有的我們也有,不過需要一點時間。社區正在補足DSH的最後一公里當然,DSH最明顯的短板,是它和普通用戶之間距離太遠了,沒點計算機知識,估計連DSH怎麼安裝都不清楚。好在的是,正是由於DSH開源,所以這最後一公里,社區已經開始接手了。最典型的例子是DSH Desktop,這個項目由一位06年的大二學生Benson Wang開發。它的核心就四個大字“一鍵安裝”。
把原本需要複雜安裝環境,以及輸入npm指令才能安裝使用的DSH,變成一個exe,下載以後雙擊安裝就能直接變成一個桌面工具。然而就是這麼簡單的一個項目,短短幾天,就在GitHub上獲得了1.8萬顆星星。可見,大家普遍都認為DSH就該有一個簡單方便的桌面版本,現在的DSH確實有些“反人類”了。順便一提,DSH Desktop這個項目的貢獻者也有DSH負責人崔添翼,不過這並不是說明他參與了開發,而是GitHub本身的開源協作機制,讓DSH原本的貢獻者出現在了這裡。Benson Wang表示,他正在開發手機版的DSH,項目名為anywhere DSH。
他計劃通過 iOS 和 Android 連接桌面端,讓用戶在手機上發起任務、查看 Agent 進度,並在需要時繼續跟進。這也是社區最有價值的地方。事實上,DSH官方團隊本身也非常關注社區。比如他們關注了DSH-better-sidebar這個項目,這是DSH第三方社區UI增強插件,給DSH原生Web界面提供了一套完整的服務化側邊欄工作臺框架。以及awesome-dsh-plugins,提供DSH插件精選和搜索雷達,相當於是一個DSH的插件市場。或許不久的將來,DSH會“收編”這些優秀的項目和開發者,豐富現在的DSH。誠然,社區項目不能自動等同於DeepSeek的戰略轉向。
開放生態越是發展,就越是會有版本兼容、權限控制、插件安全等問題出現。但官方的態度就說明,DSH正在通過社區吸納好的想法。或許不久的將來,DSH也將上線官方的插件市場,想用什麼插件,自己直接在官方的入口裡搜就行了。
Related
相關文章
認識 Voxel51 3.0:為實體 AI 打造的統一多模態資料平臺
Voxel51 已發布 Voxel51 3.0,這是其資料平臺的一次重大更新。Voxel51 3.0 是一個端對端的多模態資料平臺,將搜尋、篩選、標註和評估整合於單一系統中。該平臺鎖定針對機器人、車輛和工廠感測器資料進行模型訓練的團隊。此次發布新增了 Voxel51 Agent、資料溯源層及免費的自助式存取。重點摘要:規模:Voxel51 Agent 內建超過 45 個 MCP 工具、80 多個運算子及 18 個開源技能。執行環境:可於 app.voxel51.com 使用託管網頁應用程式,或於雲端、混合、地端及隔離環境中自行部署。未揭露本機 GPU 需求。效能:未發布產品基準測試。Voxel51 引用其自身調查數據作為依據。最佳亮點:免費方案包含 Voxel51 Agent、每月 30,000 次推論請求及 30 個運算小時。
本期AI資訊彙總2026年10月18日的產品更新、前沿研究、行業趨勢與開源項目,幫助讀者快速瞭解當天的重要動態
導航SecureDoc // EncryptionActive本期AI資訊彙總2026年10月18日的產品更新、前沿研究、行業趨勢與開源項目,幫助讀者快速瞭解當天的重要動態。
下一概念建模把文本生成提速最高31倍
斯坦福等聯合提出全新文本生成範式 NCM,生成速度狂飆 31 倍AIbase基地發佈於AI新聞資訊 · 1 分鐘閱讀 · Oct 16, 202633人工智能領域的文本生成技術迎來顛覆性創新。斯坦福大學與 Together AI 的研究人員近日聯手推出了一種截然不同於傳統自迴歸和擴散模型的全新文本生成範式——Next-Concept Modeling(簡稱 NCM,即“下一概念建模”)。該方法巧妙借鑑了圖像生成領域中“下一尺度預測”的思路,有望為未來的文本生成技術開闢全新的發展路線。在技術實現路徑上,NCM 模擬了人類“先構思宏觀大綱、再動筆填充細節”的寫作邏輯。整個系統通過兩階段訓練來完成:首先訓練多尺度殘差 VQ-VAE,從而得到能夠逐層補充信息的多層離散文本編碼;隨後凍結該系統,訓練 Transformer 模塊去預測下一層的編碼。在生成文本時,模型會先並行生成概念層面的宏觀大綱,接著逐層並行填充具體細節,最終組合成完整的文本內容。在實際測試表現中,NCM 交出了令人矚目的成績單。實驗數據顯示,在保持相近甚至更優生成質量的前提下,NCM 相對傳統的擴散語言模型實現了10到31倍的生成速度飛躍,並且在訓練過程中所需消耗的 token 數量也大幅減少。此外,在數獨等複雜推理任務上,它的表現也明顯優於傳統的自迴歸和擴散基線模型,同時還支持通過多生成候選挑選機制來進一步優化最終輸出效果。儘管目前該研究所使用的模型參數規模依然相對有限,其在擴大模型規模後的表現、精確文本以及長篇內容的生成能力仍有待後續驗證,但這一創新思路無疑打破了長期以來的技術慣性,為人工智能高效生成文本提供了充滿想象力的全新解法。本文來自AIbase日報掃碼查看歡迎來到【AI日報】欄目!這裡是你每天探索人工智能世界的指南,每天我們為你呈現AI領域的熱點內容,聚焦開發者,助你洞悉技術趨勢、瞭解創新AI產品應用。
Claude自主優化八類量子電路設計
ScienceDesigning more efficient quantum circuits with ClaudeOct 16, 2026Quantum computers will need carefully designed circuits to run useful algorithms on limited hardware.
12.88萬起、華為電驅+L4同源智駕,Ray7能成為埃安年輕化的答卷嗎?
12.88萬起、華為電驅+L4同源智駕,Ray7能成為埃安年輕化的答卷嗎? 本文作者: 倪萍 2026-10-17 22:42 導語:10月17日,埃安轎跑Ray7正式開啟預售,預售價12.88 萬起。新車車長4.9米,軸距2.9米,車頭部分搭配3.25米的超長雙環燈帶,是埃安10年煥新的家族 10月17日,埃安轎跑Ray7正式開啟預售,預售價12.88 萬起。新車車長4.9米,軸距2.9米,車頭部分搭配3.25米的超長雙環燈帶,是埃安10年煥新的家族式標識。 新車採用寧德時代電池以及廣汽自研的彈匣電池2.0技術,能夠在充分釋放續航能力的同時,監控電池健康狀態。提供45.58kWh和62.98kWh兩種規格,續航可達702公里,整車風阻係數 Cd 低至 0.22。Ray7搭載華為DriveONE多合一電驅,以及華為DriveONE芯片級驅制融合架構,百公里制動僅為32.8米。底盤方面,Ray7搭載高性能前後穩定杆和後五連桿懸架,過彎極限更高,濾振更乾淨。智能化上, Ray7搭載27顆車規級全視角傳感器,採用文遠知行L4級Robotaxi同源大模型。這幫助新車能夠複用 L4 積累的海量場景經驗,在城區掉頭、繞行等複雜場景中可順利通行。自2025年廣汽推進“番禺行動”以來,昊鉑埃安BU的研發、生產、銷售等環節效率不斷提升,產品迭代和新車投放節奏明顯加快。作為埃安全新Ray車系的首款新車,Ray7是埃安開啟年輕化序列的關鍵落子,也是廣汽切入20萬級市場的重要佈局。這一細分市場競爭並不輕鬆:小鵬P7、極氪007等車型已經提前卡位。Ray7想在年輕人心中佔位,不能只堆參數,更要把智能座艙與輔助駕駛、三電安全、補能效率、用車成本和價格權益上的差異,變成用戶可感、可信、可持續的體驗,這才是埃安年輕化的分水嶺。(雷峰網(公眾號:雷峰網)) 雷峰網原創文章,未經授權禁止轉載。詳情見轉載須知。
梁聖又掀桌了!DeepSeek新模型斬殺GPT-6,許願式編程時代降臨
作者 | 楊京麗 編輯 | 李水青 10月17日報道,剛剛,DeepSeek V4.1 Flash更新至V4.1-Flash-1017版本,官方網頁端、App與API已同步更新至新模型,模型權重也已在HuggingFace和ModelScope開放下載。DeepSeek還向公眾開放自研搜索引擎的Search(搜索)與Fetch(抓取)API,兩個接口均定價為5元/千次。 此次更新距離該模型發佈僅過去一個多月。9月10日,DeepSeek正式推出V4.1-Flash,在性能上超越了DeepSeek-V4-Pro。