Firecrawl在SimpleQA搜索評測中奪冠
重點摘要
Firecrawl在SimpleQA搜索評測中奪冠。 測試者利用 SimpleQA 評估了四家 ��� 搜索服務。同等模型下詳見 紅迪原帖測評詳情 的比分。Firecrawl 以 94.7% ��� 的準確率獨佔鰲頭。無搜索基線得分僅為 43.8%。Claude 搜索 ��� 則以 90.5% 暫時墊底。
在最新公布的 SimpleQA 搜尋評測結果中，Firecrawl 以 94.7% 的準確率奪下冠軍，成績明顯領先其他受測服務，引發業界高度關注。這項評測透過 SimpleQA 工具，在相同模型條件下同步比較多家搜尋服務的表現，直接呈現搜尋技術對人工智慧回答品質的影響力。SimpleQA 是一套專注於評估搜尋服務準確性的評測工具，透過統一的題庫與標準化流程，檢驗各服務在檢索與回應上的精確度。本次評測在固定模型的前提下進行，確保變因控制得當，讓結果能客觀反映搜尋端的能力差異。完整的評比分數與比較圖表已於 Reddit 原文公開，提供業界參考與討論。
Firecrawl 以將近九成五的準確率脫穎而出，站上榜首，展現出其在資訊檢索與整合上的強大優勢。與其他服務相比，Firecrawl 的表現明顯高出一個層次，凸顯出這項技術在面對複雜查詢時，能夠更精準地提供正確資訊。作為對照組，未搭載搜尋增強的基線準確率僅有 43.8%，與 Firecrawl 的成績形成強烈對比。這組數據清楚顯示，導入搜尋技術能大幅提升回答品質，從不足五成的正確率躍升至超過九成，差距達雙倍以上，驗證了搜尋增強在人工智慧應用中的關鍵角色。在四家受測服務中，Claude 搜尋以 90.5% 的準確率暫時墊底。
儘管在這次評測中敬陪末座，這個數字依然遠優於無搜尋的基線成績，顯示即使是最低分的服務，仍能為回應品質帶來顯著改善。這也意味著，所有受測的搜尋服務都對模型表現產生了正面效益。這次評測的結果，不僅凸顯 Firecrawl 在搜尋領域的技術領先地位，也為搜尋增強的應用價值提供了具體佐證。隨著人工智慧模型越來越依賴外部資訊來提升準確性，搜尋服務的優劣將直接影響最終輸出的可靠性。從競爭態勢來看，Firecrawl 以接近完美的成績拉開差距，而其他服務則集中在九成左右的水準。這項落差可能來自於檢索演算法、資料庫覆蓋率或資訊整合機制的差異，但具體細節仍需參考官方進一步說明。
值得注意的是，即便 Claude 搜尋在本次評測中排名最後，其 90.5% 的準確率仍然是一項相當優秀的成績。這反映出整個搜尋服務領域的基準已經提升，單純依靠模型內部知識已難以匹敵，外部檢索成為必備能力。對於開發者與企業而言，這份評測提供了一個明確的方向：選擇高效能的搜尋服務，能直接帶來更可靠的問答體驗。Firecrawl 的表現無疑為業界立下新標竿，促使其他服務加速優化以縮小差距。整體而言，SimpleQA 評測結果再次印證搜尋增強技術的不可或缺性，同時也為市場競爭注入更多動能。未來這塊領域的發展，將值得持續關注與追蹤。
Related
相關文章
曝字節訓10億參數大模型，或超Mythos 5，張一鳴、梁汝波先後發聲
字節跳動正在訓練一個參數量高達10萬億的AI模型，規模可能超越Anthropic的Mythos 5。創辦人張一鳴在內部會議中強調編程的關鍵地位，並反對模型蒸餾，認為這只能複製而非超越對手。字節跳動在AI領域持續加大投入，同時在產品端與訓練端採取雙線進攻策略。
AI 需求擠爆雲計算，消息稱 AWS 要求工程師關閉閒置服務器減少資源浪費
因AI需求導致算力緊缺，亞馬遜AWS要求工程師關閉閒置的EC2實例，以減少資源浪費。數據顯示約65%的EC2實例在30天內平均CPU利用率低於20%，AWS因此升級計算優化器自動標記低使用率虛擬機。此外，AWS過去一年新增3.8吉瓦電力容量，仍難以應對GPU雲端實例的龐大需求。
使用 NVIDIA NeMo Retriever、託管 NIM、LanceDB、重新排序與基於事實生成建立多模態 RAG 管線
在本教學中，我們將使用 NVIDIA NeMo Retriever 建立一個先進的多模態檢索增強生成管線。首先設定 Python 3.12 環境、安裝必要套件，並在無需 GPU 或外部 API 金鑰的情況下進行離線 PDF 文字提取。接著，我們透過託管的 NVIDIA NIM 端點來偵測頁面元素、提取表格、圖表與資訊圖形、產生稠密向量嵌入，並將處理後的內容儲存至 LanceDB。最後，我們實作了稠密檢索、視覺語言重新排序、後設資料過濾搜尋、附行內引用的基於事實回應生成，以及輕量級的 recall-at-k 評估，以驗證跨多模態文件內容的檢索品質。
NVIDIA AI 推出 NOOA：將 AI 代理轉化為單一 Python 類別的物件導向框架
NVIDIA 實驗室開源了 NOOA（NVIDIA 物件導向代理），這是一個與模型無關的 Python 框架，用於建構 AI 代理。傳統的代理開發分散在提示模板、工具架構、回呼程式碼和工作流程圖中，而 NOOA 將所有這些整合到一個 Python 類別中：方法代表模型可採取的動作，欄位代表代理狀態，文件字串作為提示，型別註解則是執行時期強制執行的合約。主體為「...」的方法由 LLM 驅動的迴圈在執行時期完成，而具有正常主體的方法則保持確定性的 Python 程式碼。開發者與模型因此共享同一介面，使代理行為能像一般軟體一樣進行測試、追蹤、重構和版本控制。NVIDIA 報告在 SWE-bench Verified 上達到 82.2%，在 CyberGym L1 上達到 86.8%，平均 RHAE 為 85.1%。
六巨頭定AI插件新標準，撞臉Claude，Anthropic沒上桌
六大科技巨頭（AWS、Anysphere、GitHub、微軟、OpenAI、Vercel）聯合發布AI智能體插件統一開放規範Agent Plugins 1.0.0，旨在統一插件打包格式，減少開發者重複勞動。該規範的結構與Anthropic的Claude Code插件系統高度相似，但Anthropic並未參與制定，而是繼續經營自己的封閉生態。
DeepSeek重啟融資，三年市值對齊騰訊？
DeepSeek重啟第二輪融資，以5000億元人民幣估值尋求籌集80億美元，但網傳一份由小型醫藥私募發起的專項基金募資材料引發網友質疑，後經DeepSeek員工證實部分數據屬實。該公司近期宣布API大幅漲價，可能打破其以低價換規模的估值邏輯，面臨客戶流失風險。市場關注其能否從「價格屠夫」轉型為價值提供商，以及三年內市值能否對齊騰訊等巨頭。