跳到正文
AGI Hunt· _reachsumit·· 1 小时前AI 评分55

Apache Pinot 湖仓混合搜索支持 2.77 亿商品向量与 BM25 检索

去掉目录拷贝:在 Apache Pinot 上直接跑混合搜索,2.77 亿商品向量+BM25 p50 仅 6.5-9ms

AI 导读

一项 arXiv 论文提出在 Iceberg 与 Parquet 湖仓表上扩展 Apache Pinot,直接运行向量检索与 BM25 混合搜索,无需维护独立搜索引擎和向量库副本。在 Amazon ESCI 基准上,nDCG@10 达到 0.361,与精确检索持平;单台 16-vCPU 节点处理 2.77 亿商品、0.8TB 数据时,混合搜索 p50 延迟为 6.5-9ms。

来源:AGI Hunt · agihunt.info