Sentence Transformers 用 int8 粗召回与 fp32/fp16 重打分实现毫秒级向量检索

Sentence Transformers 维护者 Tom Aarsen 分享了 int8 量化配合 fp32/fp16 重打分的两阶段向量检索方案，先用 int8 索引粗召回，再通过浮点精度重打分弥补召回损失。在 140 万张图片的向量库上，recall@100 从 97.24% 提升至 99.94%，服务端检索延迟约为 2-15ms。