AGI Hunt· Global_Zucchini5231·· 1 小时前AI 评分66
JetBrains 编码 Agent 评测拆解:分离语言选择与实现能力
JetBrains 问 12 个模型 1200 次:语言偏好混进编码评测怎么拆
AI 导读
JetBrains 的语言偏好实验暴露出编码 Agent 评测中语言选择与实现能力混合计分的问题。实验中,12 个模型在 600 次随机选择语言的运行中合计选择 Go 和 Python 307 次;作者建议对同一批任务分别让 Agent 自选语言和从均衡列表中指派语言,固定测试用例并分别记录语言选择与实现通过情况。
来源:AGI Hunt · agihunt.info