跳到正文
AGI Hunt· kalyan_kpl·· 2 小时前AI 评分33

HTEB 动态评测:16 个开源 embedding 模型鲁棒性大不同

AI 导读

研究者提出 HTEB 动态评测框架,以 LLM 随机变换输入,从词汇/风格、长度和语言三个维度检验 embedding 模型鲁棒性。该框架在 32 个数据集、42 种语言上评测了 16 个开源模型,发现单一总分掩盖模型短板,规模增大虽能提升绝对分数,但不改变各模型不同的鲁棒性画像。

来源:AGI Hunt · agihunt.info