批量处理问题以降低分类开销

开源项目 spinfinc/spinf-serve 的提出者 petrusenko_max 称，在对大量问题进行打分或分类时，可把多个问题合并到一次文档读取中批量处理，从而降低 LLM 调用的成本和延迟。其项目可在单 GPU 上一次读取内容，并为所有相关问题统一打分。 他建议开发者统计文档被重复读取的次数，而不只是每个答案消耗的 token 数；这一方法及其降本效果目前来自该提出者的方案说明。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。