Tom Aarsen 演示 int8 量化与 Usearch 实现 140 万 embedding 低于 2ms 检索

Tom Aarsen 展示将 embedding 从 fp32 量化到 int8，并结合 Usearch，在 tiny CPU 上检索 140 万条 embedding 的耗时不到 2ms。其“bookcase”查询整体服务端耗时为 13.8ms，其中 embed 10ms、检索 1.4ms；这套管线还包含小模型微调与 Matryoshka 降维。