虚拟细胞预测赛冠军引发数据公平争议
先了解这件事
斯坦福教授 Anshul Kundaje 质疑 Arc Institute Genophoria 虚拟细胞预测挑战赛结果的公平性,称获胜团队 @kjaganatha 能接触其他参赛者没有的细胞系图谱,数据访问优势掩盖了方法优劣,赛事因此难以证明冠军方案真正优越。 kjaganatha 回应称,方案核心是去噪加权平均,并非最近邻检索式捷径;在数据集和评估不变的条件下,相关指标约为均值或简单平均基线的两倍。该回应针对方案是否依赖外部数据及评测捷径的质疑,但双方对结果是否体现公平竞争仍未达成一致。
AI 根据报道生成 · 52 分钟前更新
事件进展
3 个进展
- 11月20日 14:23 · 1 篇报道Arc Institute 细胞模拟赛冠军方案因去噪加权平均陷入捷径争议AGI Hunt:Arc Institute 细胞模拟赛冠军方案因去噪加权平均陷入捷径争议
- 11月20日 14:19 · 2 篇报道冠军回应质疑并说明去噪加权方法AGI Hunt:细胞模拟赛冠军 kjaganatha 回应质疑:去噪加权平均达基线 2 倍
- 11月20日 14:14 · 1 篇报道教授质疑挑战赛存在数据特权AGI Hunt:斯坦福教授质疑 Arc 虚拟细胞赛冠军:数据特权还是方法优越
报道时间线
沿着报道,了解事件的不同侧面。
- AGI Hunt细胞系响应预测作者回应质疑:测试集不留匹配且均值基线超最近邻
针对 Anshul Kundaje 对细胞系响应预测可能依赖训练-测试相似性的质疑,kjaganatha 回应称测试集留出了整类细胞系,不存在匹配,且每条细胞系贡献限制在 10% 以内。简单均值基线持续击败最近邻方法,因为平均带来的去噪收益超过纳入生物距离更远样本的代价。
- AGI HuntArc Institute 细胞模拟赛冠军方案因去噪加权平均陷入捷径争议
Arc Institute 细胞模拟竞赛冠军方案因依赖基线捷径受到质疑,作者承认其方法核心是去噪加权平均,并在指标上达到简单平均基线约 2 倍性能。斯坦福教授 Anshul Kundaje 评论称,利用数据结构和评测结构的捷径总能赢下竞赛,由此引发对竞赛评测有效性的讨论。
- AGI Hunt细胞模拟赛冠军 kjaganatha 回应质疑:去噪加权平均达基线 2 倍
虚拟细胞挑战赛冠军方案作者 kjaganatha 回应 Anshul Kundaje 的质疑,称去噪与加权平均本身就是方法学贡献。在数据集和评估完全不变的条件下,该方案性能达到均值基线的 2 倍。
- AGI HuntArc Institute 细胞模拟赛冠军方案回应质疑:去噪加权平均性能约为简单平均 2 倍
Arc Institute 细胞模拟竞赛冠军方案作者回应斯坦福教授 Anshul Kundaje 的质疑,称方案核心是去噪加权平均,而非最近邻检索式捷径。相关指标上的性能约为简单平均的 2 倍,并认为质疑者误解了方案生效的原因。
- AGI Hunt斯坦福教授质疑 Arc 虚拟细胞赛冠军:数据特权还是方法优越
斯坦福教授 Anshul Kundaje 质疑 Arc Institute Genophoria 虚拟细胞预测挑战赛结果,认为获胜团队 @kjaganatha 可接触其他参赛者没有的细胞系图谱数据。数据访问优势与方法优劣被混淆,使该挑战赛难以证明获胜方案具有真正的优越性。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。