Nuance Labs称高基准分数不等于好体验

Nuance Labs分享了一项反直觉发现：把模型在现有基准上的分数推高，实际对话体验反而可能变差。该结论目前来自厂商及其成员的分享，尚不能视为已被独立验证。 Nuance Labs借此提醒用户，模型是否好用不能只看榜单，还应结合自身对话体验判断；其对话模型Emma已开放体验，作为该主张的厂商侧案例。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。