Meet Gigatoken: A Rust BPE Tokenizer that Encodes Text at 24.53 GB/s, up to 989x Faster than HuggingFace Tokenizers
重點摘要
Tokenization is the one part of the language modeling stack that almost nobody profiles. Gigatoken, released by Marcel Rød (a PhD student from Stanford) under an MIT license, argues that this was a mistake.
Tokenization is the one part of the language modeling stack that almost nobody profiles. Gigatoken, released by Marcel Rød (a PhD student from Stanford) under an MIT license, argues that this was a mistake. The library encodes text at gigabytes per second on a single machine, against baselines that are already multithreaded Rust. The GPT-2 tokenizer benchmarking yields remarkable results: evaluated on the 11. txt corpus using a 144-core AMD EPYC 9565 dual-socket setup, Gigatoken processes data at a staggering 24. In comparison, OpenAI’s tiktoken achieves 36. 0 MB/s, while HuggingFace tokenizers registers at 24. 8 MB/s on the identical hardware configuration. These marks demonstrate performance advantages of 681x and 989x, respectively.
Related
相關文章
從展團到生態：WAIC 2026揭示的北京AI“系統能力”
WAIC 2026顯示北京AI產業正從技術展示轉向實際落地，170餘家參展企業涵蓋晶片、模型、機器人與智慧體等完整產業鏈。北京透過系統性政策、人才聚集與生態布局，將技術勢能轉化為產業動能，在關鍵賽道形成從研發到交付的閉環能力。
國產端側大模型首次：面壁智能 MiniCPM 官宣登陸三星 Galaxy Z Fold8 系列手機
首頁 > 安卓之家>安卓手機 國產端側大模型首次：面壁智能 MiniCPM 官宣登陸三星 Galaxy Z Fold8 系列手機 2026/7/23 17:24:26 來源：IT之家 作者：歸瀧 責編：歸瀧 評論： IT之家 7 月 23 日消息，三星昨晚在倫敦 Galaxy Unpacked 發佈會上，正式推出全新摺疊旗艦 ——Galaxy Z Fold8、Galaxy Z Fold8 Ultra 與 Galaxy Z Flip8。
20個關鍵詞，串起梁文鋒四小時分享
DeepSeek完成約510億元人民幣首輪融資，投後估值約4185億元，並籌備最快今年提交IPO申請。創辦人梁文鋒在四小時分享中強調，團隊穩定性是核心利益，持續學習是下一代AI模型關鍵，並認為中國AI將因成本優勢在全球扮演產量最大角色。
北京推出新舉措支持智能體發展：鼓勵發展 Token 經濟，加大算力券等支持力度
首頁 > 智能時代>人工智能 北京推出新舉措支持智能體發展：鼓勵發展 Token 經濟，加大算力券等支持力度 2026/7/23 16:53:55 來源：IT之家 作者：遠洋 責編：遠洋 評論： IT之家 7 月 23 日消息，北京市發展改革委等部門聯合印發《北京市關於加快智能體引領發展的若干措施》，推動智能體創新引領發展，率先培育智能經濟新形態。其中提到，鼓勵發展 Token 經濟。
梁文鋒投資人閉門會實錄（全）：DeepSeek的AGI之路與“剋制”哲學
未來我們的目標是縮短到6個月、3個月，甚至在某些重點地方超越他們——但總體算力有數量級差距的情況下，全面超越不現實。終局差距，成本、時間、體驗。大模型競爭的終局差距應該體現在三個方面：中國AI的定位。在全球AI分工中，中國公司很有可能扮演的角色還是產量最大、價格最便宜，就跟其他行業一樣。中國產的AI價格會是系統性的低，但效果跟美國不會有太大區別。國內格局判斷。國內做基模的公司太多了，美國可能就三家，資源集中。中國資源分散，每一家拿到的更少。最終一定會收斂到三四家。不需要那麼多家，因為利潤率沒有那麼高。
獨家｜混元多模態理解負責人胡瀚離職創業，原團隊或將聚焦世界模型
賬號設置我的關注我的收藏申請的報道退出登錄登錄搜索36氪Auto數字時氪未來消費智能湧現未來城市啟動Power on36氪出海36氪研究院潮生TIDE36氪企服點評36氪財經職場bonus36碳後浪研究所暗湧Waves硬氪氪睿研究院媒體品牌企業號企服點評36Kr研究院36Kr創新諮詢企業服務核心服務城市之窗政府服務創投發佈LP源計劃VClubVClub投資機。