跳到正文
热点事件持续更新

devel0mer 发布 Rust RAG 分块器

1 篇报道1 个报道来源1 小时前更新

先了解这件事

AI 综述

devel0mer 开源 Rust crate text-chipper,并提供 Python 绑定,用于 RAG 管线按 token 预算切分文本。该工具保证返回的每个分块不超过 maxlength,不会切断 Unicode 字素簇;若单个字素簇本身超限,则报错而不返回超长块。 作者称,流式处理 514.3MiB 文件仅增加约 56MB 内存,而整读入 Python 字符串再分块约需 4.6GB。其在 12 组工作负载、512 token 和 cl100k_base 条件下的单次基准还发现,部分 Python 分块器会返回 513至514 token 的超预算分块;这一结果不代表所有 Python 分块器均存在同样问题。

AI 根据报道生成 · 39 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月20日
  1. AGI Hunt
    text-chipper 开源:严格 token 预算,514.3MiB 文件仅增约 56MB 内存

    作者发布开源 Rust crate text-chipper,并提供 Python 绑定,用于 RAG 管线文本分块。它严格控制每个 chunk 的 token 数不超过 maxlength,支持 Unicode 字素安全与 Markdown 感知处理。流式处理 514.3MiB 文件仅增加约 56MB 内存,而整读入 Python 字符串再分块约需 4.6GB。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。