跳到正文
AGI Hunt· bo_wangbo·· 49 分钟前AI 评分61

turbopuffer 上线中日韩分词器,支持 CJK 全文检索调优

turbopuffer 上线中日韩分词器,开发者实测 CJK 全文检索调优

AI 导读

turbopuffer 发布中文、日文和韩文分词器 smartcn、kuromoji 与 nori,用于将 CJK 文本切分为词典词,其中 kuromoji 和 nori 支持词形匹配。该功能基于 BM25 全文检索,可与向量检索组合成 hybrid search;开发者实测认为 SmartCN 和 Kuromoji 表现不错,但 Nori 较难调优,原生启用曾扰乱开发评测数据集。

来源:AGI Hunt · agihunt.info