Together AI研究测量LLM推理努力档位的成本与效果

Together AI与约翰霍普金斯、康奈尔团队发布论文，系统测量专有与开源LLM推理努力档位对成本、准确率和Agent行为的影响。研究覆盖4个基准及单次推理与长程Agent任务，发现更高档位虽可能提升总体准确率，却经常无法解决低档位本来能答对的问题；在所有档位均可解决的简单题上，最高档位成本可达最低档位的42倍。论文建议从低档位开始并按需升级，以优化API调用和Agent任务成本。