AGI Hunt· AccBalanced·· 50 分钟前AI 评分53
inference.net 上线自称世界最快的 vLLM tokenizer
一人三天写出 vLLM 提速 120 倍的 tokenizer,自称世界最快
AI 导读
inference.net 上线了一款由 @TheHarryET 在不到三天内完成的 tokenizer,并自称世界最快。该项目采用 Elixir 构建自定义请求路由器,使 vLLM 的 tokenization 速度提升 120 倍,相关实践来自团队自研推理路由栈的首篇技术文章。
来源:AGI Hunt · agihunt.info