AGI Hunt· vboykis·· 3 小时前AI 评分43
Vicki Boykis DataPhilly 演讲:ONNX 推理下的检索与排序实践
AI 导读
Vicki Boykis 在 DataPhilly meetup 分享生产环境推理实践,幻灯片现已公开。内容涵盖基于 embedding 的检索与排序、ML 模型 artifact 制作与推理、通用大模型和小模型取舍,以及延迟与 ONNX 转换的权衡;问答还涉及自托管模型与 API 推理的成本差异。
来源:AGI Hunt · agihunt.info