AGI Hunt· kenziyuliu·· 2 小时前AI 评分43
GSM8K 预测研究:带提示的降级版 benchmark 以约 1/5600 算力预测成绩
博士压轴论文:用带提示的降级版 benchmark,以 1/5600 算力预测 GSM8K 成绩(误差 3 分内)
AI 导读
suzeva 团队将一个 benchmark 改造成一系列更简单的带提示版本,以约 1/5600 的计算量将 GSM8K 准确率预测至 3 个百分点以内。方法联合建模 scale 参数 C 与提示等级 H,可从零分模型外推预测完整 benchmark 成绩;相关博士最后一篇论文已发出并附演讲录像。
来源:AGI Hunt · agihunt.info