多模態決策大模型迎來開源新突破!Cloudflare 正式發佈 Clef-omni,全面支持音視頻原生輸入

2026年10月10日 07:304400 次瀏覽
站內 AI 整理稿

AI資訊AI新閒資訊正文多模態決策大模型迎來開源新突破!Cloudflare 正式發佈 Clef-omni,全面支持音視頻原生輸入發布於AI新閒資訊時間 :Oct 10, 2026閱讀 :1分鐘Cloudflare 近期正式發佈了全新開放權重決策模型 Clef-omni。該模型在原有 Clef 系列的基礎上實現了重大升級,不僅原生支持文本與圖像,更首次新增了對音頻和完整視頻輸入的直接處理能力。目前,其模型權重已在 Hugging Face 平臺全面開源。在技術實現與功能特性方面,Clef-omni 徹底改變了傳統的處理鏈路。

此前版本的 Clef 在面對視頻輸入時,往往需要先將視頻按時間軸拆解為連續的靜態圖像再進行處理;而全新的 Clef-omni 則直接支持 wav、mp3、mp4和 webm 等主流音視頻格式。這意味著開發者無需再單獨搭建複雜的語音轉寫及音視頻拆分管道,只需通過單次 API 調用即可實現文本、圖像、音頻和視頻的統一處理。從性能與基準測試表現來看,該模型基於 Qwen3-Omni-30B-A3B-Instruct 底座架構構建,完整保留了其核心理解能力。作為一款專注於結構化決策任務的專用模型,它不輸出常規的冗長文本。

在官方公佈的實測數據中,純文本請求的中位響應時間約為130毫秒,圖像請求約為150毫秒;而處理一段帶有聲音、時長達21秒的視頻,也僅需約1.5秒即可高效完成評分。伴隨著新模型的登場,Cloudflare 還對旗下其他產品線進行了價格調整與優化。其中,Clef-flash 的輸入價格迎來了約58% 的大幅下調,從原本每百萬輸入 Token0.09美元降至0.038美元,託管版的上下文窗口則同步由64k 調整為24k。整體來看,隨著 Clef-omni 的開源以及多模態處理能力的補齊,正為全球開發者構建複雜的智能工作流和自動化決策系統提供更高效、更具性價比的底層支撐。

相關推薦知名學者親歷純語音指揮 AI 的沉浸式一週科技觀察家Azeem Azhar赴倫敦出差時,將筆記本電腦忘在阿姆斯特丹家中,意外開啟為期一週的“純語音辦公”實驗。這打破了依賴屏幕和鍵盤處理Slack、Word、Excel等工作的傳統模式,也讓他對人機交互的未來產生顛覆性新認知,並引發對語音辦公可能性的思考。Oct 10, 202665.5k16 歲少年用 Claude 規劃登山路線被困懸崖,事後表示不責怪 AI加拿大16歲少年用AI助手Claude規劃皇冠山徒步新路線,10月3日早晨從溫哥華出發。他因曾登頂該山而嘗試新線,卻誤入需專業繩索和攀巖裝備的險峻攀巖區,被困懸崖。

最終搜救隊派直升機將其成功救出。事件顯示,AI規劃戶外路線可能帶來風險,不能替代專業判斷與準備。Oct 10, 2026111.3k​Claude 妙手繪出首張完整紫外全天圖,1.19 億顆星逐顆疊上近日,天體物理學家藉助Anthropic大模型Claude,繪出人類首張完整紫外全天圖。該圖含1.19億顆恆星,約三分之一天區由Claude依據多波段天文觀測數據推算補全,填補了過去50年因紫外巡天望遠鏡避開銀河亮區等留下的空白。全天圖繪製極為繁重複雜。Oct 10, 202674.

0kCloudflare 發佈開放權重決策模型 Clef-omni,新增支持音視頻多模態輸入Cloudflare於10月9日發佈開放權重決策模型Clef-omni。它在原有文本、圖像處理基礎上,新增音頻和完整視頻支持,可通過單次API調用同時處理多模態內容。相比傳統Clef僅處理文本、圖像及按時間間隔抽取的靜態連續畫面,Clef-omni原生支持wav、mp3等音頻格式,並涉及多模態升級與架構解析。Oct 10, 202676.7k騰訊元寶上線桌寵:PC端 v2.87.10開啟,全天陪伴+拖拽文件摘要騰訊元寶10月10日宣佈,元寶桌寵PC端上線,Beta形態。用戶升級至v2.87.

10及以上,點擊左下角頭像進入“我的桌寵”即可開啟;微信端長按識別二維碼添加元寶可聊天。它把助手能力嵌入工作日全時段:早9點開機主動問候並詢問今日安排;中午11點可拖入文件、圖片或文字,由其快速總結處理。Oct 10, 202674.9k智啟未來,您的人工智能解決方案智庫English簡體中文繁體中文にほんご© 2026

Related

相關文章

MarkTechPost AI生成式AI

認識 Voxel51 3.0:為實體 AI 打造的統一多模態資料平臺

Voxel51 已發布 Voxel51 3.0,這是其資料平臺的一次重大更新。Voxel51 3.0 是一個端對端的多模態資料平臺,將搜尋、篩選、標註和評估整合於單一系統中。該平臺鎖定針對機器人、車輛和工廠感測器資料進行模型訓練的團隊。此次發布新增了 Voxel51 Agent、資料溯源層及免費的自助式存取。重點摘要:規模:Voxel51 Agent 內建超過 45 個 MCP 工具、80 多個運算子及 18 個開源技能。執行環境:可於 app.voxel51.com 使用託管網頁應用程式,或於雲端、混合、地端及隔離環境中自行部署。未揭露本機 GPU 需求。效能:未發布產品基準測試。Voxel51 引用其自身調查數據作為依據。最佳亮點:免費方案包含 Voxel51 Agent、每月 30,000 次推論請求及 30 個運算小時。

19 小時前
何夕2077生成式AI

下一概念建模把文本生成提速最高31倍

斯坦福等聯合提出全新文本生成範式 NCM,生成速度狂飆 31 倍AIbase基地發佈於AI新聞資訊 · 1 分鐘閱讀 · Oct 16, 202633人工智能領域的文本生成技術迎來顛覆性創新。斯坦福大學與 Together AI 的研究人員近日聯手推出了一種截然不同於傳統自迴歸和擴散模型的全新文本生成範式——Next-Concept Modeling(簡稱 NCM,即“下一概念建模”)。該方法巧妙借鑑了圖像生成領域中“下一尺度預測”的思路,有望為未來的文本生成技術開闢全新的發展路線。在技術實現路徑上,NCM 模擬了人類“先構思宏觀大綱、再動筆填充細節”的寫作邏輯。整個系統通過兩階段訓練來完成:首先訓練多尺度殘差 VQ-VAE,從而得到能夠逐層補充信息的多層離散文本編碼;隨後凍結該系統,訓練 Transformer 模塊去預測下一層的編碼。在生成文本時,模型會先並行生成概念層面的宏觀大綱,接著逐層並行填充具體細節,最終組合成完整的文本內容。在實際測試表現中,NCM 交出了令人矚目的成績單。實驗數據顯示,在保持相近甚至更優生成質量的前提下,NCM 相對傳統的擴散語言模型實現了10到31倍的生成速度飛躍,並且在訓練過程中所需消耗的 token 數量也大幅減少。此外,在數獨等複雜推理任務上,它的表現也明顯優於傳統的自迴歸和擴散基線模型,同時還支持通過多生成候選挑選機制來進一步優化最終輸出效果。儘管目前該研究所使用的模型參數規模依然相對有限,其在擴大模型規模後的表現、精確文本以及長篇內容的生成能力仍有待後續驗證,但這一創新思路無疑打破了長期以來的技術慣性,為人工智能高效生成文本提供了充滿想象力的全新解法。本文來自AIbase日報掃碼查看歡迎來到【AI日報】欄目!這裡是你每天探索人工智能世界的指南,每天我們為你呈現AI領域的熱點內容,聚焦開發者,助你洞悉技術趨勢、瞭解創新AI產品應用。

23 小時前
雷峰網生成式AI

12.88萬起、華為電驅+L4同源智駕,Ray7能成為埃安年輕化的答卷嗎?

12.88萬起、華為電驅+L4同源智駕,Ray7能成為埃安年輕化的答卷嗎? 本文作者: 倪萍 2026-10-17 22:42 導語:10月17日,埃安轎跑Ray7正式開啟預售,預售價12.88 萬起。新車車長4.9米,軸距2.9米,車頭部分搭配3.25米的超長雙環燈帶,是埃安10年煥新的家族 10月17日,埃安轎跑Ray7正式開啟預售,預售價12.88 萬起。新車車長4.9米,軸距2.9米,車頭部分搭配3.25米的超長雙環燈帶,是埃安10年煥新的家族式標識。 新車採用寧德時代電池以及廣汽自研的彈匣電池2.0技術,能夠在充分釋放續航能力的同時,監控電池健康狀態。提供45.58kWh和62.98kWh兩種規格,續航可達702公里,整車風阻係數 Cd 低至 0.22。Ray7搭載華為DriveONE多合一電驅,以及華為DriveONE芯片級驅制融合架構,百公里制動僅為32.8米。底盤方面,Ray7搭載高性能前後穩定杆和後五連桿懸架,過彎極限更高,濾振更乾淨。智能化上, Ray7搭載27顆車規級全視角傳感器,採用文遠知行L4級Robotaxi同源大模型。這幫助新車能夠複用 L4 積累的海量場景經驗,在城區掉頭、繞行等複雜場景中可順利通行。自2025年廣汽推進“番禺行動”以來,昊鉑埃安BU的研發、生產、銷售等環節效率不斷提升,產品迭代和新車投放節奏明顯加快。作為埃安全新Ray車系的首款新車,Ray7是埃安開啟年輕化序列的關鍵落子,也是廣汽切入20萬級市場的重要佈局。這一細分市場競爭並不輕鬆:小鵬P7、極氪007等車型已經提前卡位。Ray7想在年輕人心中佔位,不能只堆參數,更要把智能座艙與輔助駕駛、三電安全、補能效率、用車成本和價格權益上的差異,變成用戶可感、可信、可持續的體驗,這才是埃安年輕化的分水嶺。(雷峰網(公眾號:雷峰網)) 雷峰網原創文章,未經授權禁止轉載。詳情見轉載須知。

1 天前
智東西生成式AI

梁聖又掀桌了!DeepSeek新模型斬殺GPT-6,許願式編程時代降臨

作者 | 楊京麗 編輯 | 李水青 10月17日報道,剛剛,DeepSeek V4.1 Flash更新至V4.1-Flash-1017版本,官方網頁端、App與API已同步更新至新模型,模型權重也已在HuggingFace和ModelScope開放下載。DeepSeek還向公眾開放自研搜索引擎的Search(搜索)與Fetch(抓取)API,兩個接口均定價為5元/千次。 此次更新距離該模型發佈僅過去一個多月。9月10日,DeepSeek正式推出V4.1-Flash,在性能上超越了DeepSeek-V4-Pro。

1 天前