Boykis公开生产推理与检索排序实践

Vicki Boykis 在 DataPhilly meetup 分享生产环境推理实践，并公开演讲幻灯片。她介绍基于 embedding 的检索与排序、模型 artifact 制作与推理，以及通用大模型和小模型的取舍，并讨论 ONNX 转换与延迟之间的权衡。 现场问答还涉及哪些数据适合 embedding、自托管模型与调用 API 的成本差异，以及模型数据和架构何者更重要的选择问题。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。