跳到正文
AGI Hunt· togethercompute·· 6 小时前AI 评分56

Together AI:用公开榜单筛选模型,以生产流量回放完成选型

Together AI:榜单只能选入围名单,真正该测的是你自己的流量

AI 导读

Together AI 建议用公开 benchmark 榜单建立候选模型短名单,再回放自身生产流量完成最终评测。测试应覆盖 short-in/long-out、长文摘要、缓存请求、工具调用和多轮 agent 对话等模式;示例中榜单第一的 Model A 未通过自有评测,最终胜出的是榜单第三的 Model C。

来源:AGI Hunt · agihunt.info