Meet Gigatoken: A Rust BPE Tokenizer that Encodes Text at 24.53 GB/s, up to 989x Faster than HuggingFace Tokenizers
重點摘要
Tokenization is the one part of the language modeling stack that almost nobody profiles. Gigatoken, released by Marcel Rød (a PhD student from Stanford) under an MIT license, argues that this was a mistake.
Tokenization is the one part of the language modeling stack that almost nobody profiles.Gigatoken, released by Marcel Rød (a PhD student from Stanford) under an MIT license, argues that this was a mistake.
The library encodes text at gigabytes per second on a single machine, against baselines that are already multithreaded Rust.The GPT-2 tokenizer benchmarking yields remarkable results: evaluated on the 11.
txt corpus using a 144-core AMD EPYC 9565 dual-socket setup, Gigatoken processes data at a staggering 24.In comparison, OpenAI’s tiktoken achieves 36.0 MB/s, while HuggingFace tokenizers registers at 24.8 MB/s on the identical hardware configuration.
These marks demonstrate performance advantages of 681x and 989x, respectively.
Related
相關文章
曝字節訓10億參數大模型，或超Mythos 5，張一鳴、梁汝波先後發聲
字節跳動正在訓練一個參數量高達10萬億的AI模型，規模可能超越Anthropic的Mythos 5。創辦人張一鳴在內部會議中強調編程的關鍵地位，並反對模型蒸餾，認為這只能複製而非超越對手。字節跳動在AI領域持續加大投入，同時在產品端與訓練端採取雙線進攻策略。
AI 需求擠爆雲計算，消息稱 AWS 要求工程師關閉閒置服務器減少資源浪費
因AI需求導致算力緊缺，亞馬遜AWS要求工程師關閉閒置的EC2實例，以減少資源浪費。數據顯示約65%的EC2實例在30天內平均CPU利用率低於20%，AWS因此升級計算優化器自動標記低使用率虛擬機。此外，AWS過去一年新增3.8吉瓦電力容量，仍難以應對GPU雲端實例的龐大需求。
六巨頭定AI插件新標準，撞臉Claude，Anthropic沒上桌
六大科技巨頭（AWS、Anysphere、GitHub、微軟、OpenAI、Vercel）聯合發布AI智能體插件統一開放規範Agent Plugins 1.0.0，旨在統一插件打包格式，減少開發者重複勞動。該規範的結構與Anthropic的Claude Code插件系統高度相似，但Anthropic並未參與制定，而是繼續經營自己的封閉生態。
DeepSeek重啟融資，三年市值對齊騰訊？
DeepSeek重啟第二輪融資，以5000億元人民幣估值尋求籌集80億美元，但網傳一份由小型醫藥私募發起的專項基金募資材料引發網友質疑，後經DeepSeek員工證實部分數據屬實。該公司近期宣布API大幅漲價，可能打破其以低價換規模的估值邏輯，面臨客戶流失風險。市場關注其能否從「價格屠夫」轉型為價值提供商，以及三年內市值能否對齊騰訊等巨頭。
可靈AI核心技術骨幹王鑫濤被曝離職
快手可靈AI核心技術骨幹王鑫濤被曝離職，去向未知，快手官方與本人均未回應。王鑫濤是圖像與視頻生成領域知名開源項目主要作者，被視為可靈從0到1的關鍵推手。其離職發生在可靈完成獨立融資、估值180億美元的關鍵階段，可能影響研發進度與競爭優勢。
AI短劇、漫劇、戀綜、電影、藝人都有了，AI觀眾也不遠了
2026年AI影視內容全面爆發，從短劇、長劇到電影、綜藝，AI製作的作品大量湧現，衛視也開始播出AI短劇。AI演員如方桃子迅速走紅，商業變現能力驚人，廣告報價甚至超過許多真人網紅。AI短劇市場規模已突破220億元，用戶超過6億，但同時也引發了對真人演員就業和內容品質的擔憂。