批量合并提问可降低 LLM 文档分类成本与延迟

petrusenko_max 提出在对大量问题进行打分或分类时，将多个问题合并到一次文档读取中批量处理，以降低成本和延迟。他建议开发者统计文档被读取的次数，而不只是每个答案的 token 数；配图展示其开源项目 spinfinc/spinf-serve，可在单 GPU 上一次读取内容并为所有相关问题打分。