suzeva团队公开低成本基准外推方法
热点事件持续更新
suzeva团队公开低成本基准外推方法
2 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
suzeva团队公开论文，提出用带提示的简化基准预测模型在完整基准上的成绩，并将该方法应用于GSM8K。 方法把基准改造成一系列更容易的带提示版本，联合建模规模参数C与提示等级H，再从零分模型外推完整基准表现。实证显示，预测无提示版本（H=0）的准确率仅需约完整评测1/5600的计算量，误差可控制在3个百分点以内。研究由suzeva团队主导，rckpudi与Luke Bailey参与完成。
AI 根据报道生成 · 37 分钟前更新
最新进展11月4日 04:26
博士论文提出低成本预测基准成绩方法：GSM8K 算力省 5600 倍，误差 3 分内报道时间线
沿着报道，了解事件的不同侧面。
11月4日
- AGI Hunt博士论文提出低成本预测基准成绩方法：GSM8K 算力省 5600 倍，误差 3 分内
一位博士生在毕业前发布最后一篇论文，提出把基准测试改造成带提示的简化版本并联合建模规模规律，从而预测模型在完整基准上的成绩。以 GSM8K 为例，该方法仅需约 1/5600 的算力即可完成预测，误差控制在 3 分以内。研究由 @suzeva 团队主导，@rckpudi 与 Luke Bailey 参与完成。
- AGI HuntGSM8K 预测研究：带提示的降级版 benchmark 以约 1/5600 算力预测成绩
suzeva 团队将一个 benchmark 改造成一系列更简单的带提示版本，以约 1/5600 的计算量将 GSM8K 准确率预测至 3 个百分点以内。方法联合建模 scale 参数 C 与提示等级 H，可从零分模型外推预测完整 benchmark 成绩；相关博士最后一篇论文已发出并附演讲录像。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。