本地向量网格在10万工具中测试路由效果

Key_Coconut_9269介绍并测试了一种本地向量网格工具路由方法：在10万个合成工具端点的冷缓存测试中，top-1准确率为70.7%，平均延迟为9.56毫秒。该方案运行于本地CPU，使用all-MiniLM-L6-v2生成向量、chromadb HNSW建立索引，并通过分离执行守护进程完成路由。 其关键做法是将工具名、描述、schema键和tags合并为单一工具profile向量，而不是仅嵌入函数名，以减少同义词导致的匹配失败。上述结果基于合成工具端点测试。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。