跳到正文
AGI Hunt· anshulkundaje·· 3 小时前AI 评分50

斯坦福学者质疑 BioReason 基准存在数据泄漏与样本混杂

斯坦福学者质疑 BioReason 基准存在数据泄漏与混杂

AI 导读

斯坦福学者 Anshul Kundaje 质疑 BioReason 基准的评价可信度,称独立评估中随机打乱输入序列后模型输出几乎不变,未体现对序列信息的学习。他还指出提示词存在数据泄漏,即使 Hugging Face 团队修复提示词,正负样本集合的选取仍混杂,难以支撑论文结论。

来源:AGI Hunt · agihunt.info