devel0mer 发布 Rust RAG 分块器
热点事件持续更新
devel0mer 发布 Rust RAG 分块器
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
devel0mer 开源 Rust crate text-chipper,并提供 Python 绑定,用于 RAG 管线按 token 预算切分文本。该工具保证返回的每个分块不超过 maxlength,不会切断 Unicode 字素簇;若单个字素簇本身超限,则报错而不返回超长块。 作者称,流式处理 514.3MiB 文件仅增加约 56MB 内存,而整读入 Python 字符串再分块约需 4.6GB。其在 12 组工作负载、512 token 和 cl100k_base 条件下的单次基准还发现,部分 Python 分块器会返回 513至514 token 的超预算分块;这一结果不代表所有 Python 分块器均存在同样问题。
AI 根据报道生成 · 39 分钟前更新
最新进展11月20日 23:39
text-chipper 开源:严格 token 预算,514.3MiB 文件仅增约 56MB 内存报道时间线
沿着报道,了解事件的不同侧面。
11月20日
- AGI Hunttext-chipper 开源:严格 token 预算,514.3MiB 文件仅增约 56MB 内存
作者发布开源 Rust crate text-chipper,并提供 Python 绑定,用于 RAG 管线文本分块。它严格控制每个 chunk 的 token 数不超过 maxlength,支持 Unicode 字素安全与 Markdown 感知处理。流式处理 514.3MiB 文件仅增加约 56MB 内存,而整读入 Python 字符串再分块约需 4.6GB。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。