大模型高推理档位准确率与成本研究发布

Together AI与约翰霍普金斯、康奈尔团队发布论文，测量专有及开源大语言模型提高“推理努力”档位后的准确率、成本和Agent行为。结果显示，更高档位有时能提高总体准确率，却经常无法解决低档位本来能答对的问题，且在所有档位均可答对的简单题上，最高档位成本最高可达最低档位的42倍。 研究覆盖4个基准及单次推理和长程Agent任务。论文建议先使用低档位，遇到需要时再升级，以降低API调用和Agent任务成本。

AI 根据报道生成 · 55 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。