Zilliz CTO 实测语义缓存，token 节省伴随 0.3~0.8 秒延迟

Zilliz CTO James Luan 实测发现，语义缓存虽能减少生成成本，但同步复用判定会在请求关键路径中增加延迟。Jev 远程 API 判定中位延迟为 0.79 秒，Laya 在 M4 Pro 本地运行时为 0.27 秒，CPU 批处理下的 reranker 计时不能直接对比。是否采用缓存需结合避免的生成成本与新增等待权衡，并同时评估复用质量和判定延迟，数据仅代表实测配置。