AGI Hunt· preslav_nakov·· 2 小时前AI 评分43
EDRAC 基准：4977 道方言问答题暴露 LLM 阿拉伯方言理解短板
AI 导读
EDRAC 基准以 499 篇真实口语交互段落和 4,977 个 QA 对，评测 LLM 对埃及、摩洛哥、阿联酋、叙利亚、沙特五大阿拉伯方言的理解与生成能力。评测显示，语义答案质量与方言保真度存在显著鸿沟，阿联酋方言 BERTScore-F1 为 81 分，但人工自然度仅 5 分；Alfateh-7B 和 NorChat-48B 的方言保真度反超部分更大模型。 2 / 2
来源：AGI Hunt · agihunt.info