Squareblack改用本地小模型生成评测指标

Squareblack团队已将逐案例评测指标的撰写从大型前沿模型转向在严格约束下运行的本地小模型，并辅以人工标注和调整。团队称，在约束足够强的情况下，无需使用 frontier model 也能完成该项工作。 其评测流程为每个案例单独定义一组评分指标，通过包含上下文和知识的 entry prompts 辅助生成；团队还推出 Jev、Basal 等分类器模型，实践中继续从大模型转向小型本地模型。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。