跳到正文
AGI Hunt· AccBalanced·· 50 分钟前AI 评分53

inference.net 上线自称世界最快的 vLLM tokenizer

一人三天写出 vLLM 提速 120 倍的 tokenizer,自称世界最快

AI 导读

inference.net 上线了一款由 @TheHarryET 在不到三天内完成的 tokenizer,并自称世界最快。该项目采用 Elixir 构建自定义请求路由器,使 vLLM 的 tokenization 速度提升 120 倍,相关实践来自团队自研推理路由栈的首篇技术文章。

来源:AGI Hunt · agihunt.info