turbopuffer发布中日韩分词器
热点事件持续更新
turbopuffer发布中日韩分词器
1 篇报道1 个报道来源33 分钟前更新
先了解这件事
AI 综述
turbopuffer 发布 SmartCN、Kuromoji 和 Nori，用于将中文、日文和韩文文本切分为词典词，其中 Kuromoji 与 Nori 支持词形匹配，搜索日文词形时可命中不同形态。 该功能应用于 BM25 全文检索，并可与向量检索组合为混合搜索。开发者实测称 SmartCN、Kuromoji 表现较好，但 Nori 较难调优，曾因原生启用扰乱评测数据集。
AI 根据报道生成 · 18 分钟前更新
最新进展11月11日 00:18
turbopuffer 上线中日韩分词器，支持 CJK 全文检索调优报道时间线
沿着报道，了解事件的不同侧面。
11月11日
- AGI Huntturbopuffer 上线中日韩分词器，支持 CJK 全文检索调优
turbopuffer 发布中文、日文和韩文分词器 smartcn、kuromoji 与 nori，用于将 CJK 文本切分为词典词，其中 kuromoji 和 nori 支持词形匹配。该功能基于 BM25 全文检索，可与向量检索组合成 hybrid search；开发者实测认为 SmartCN 和 Kuromoji 表现不错，但 Nori 较难调优，原生启用曾扰乱开发评测数据集。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。