AGI Hunt· heghbalz·· 3 小时前AI 评分48
斯坦福提出 Hinted Scaling Laws:小模型零分时也能外推大模型准确率
斯坦福提出Hinted Scaling Laws:小模型零分也能外推大模型成绩
AI 导读
斯坦福团队提出 Hinted Scaling Laws,通过截断、掩码和 logit 混合等特权信息,解决难基准近零分时无法外推的问题。仅用 ≤10^20 FLOPs 模型拟合即可预测 10^23 FLOPs 模型的 GSM8K 准确率,误差在 3 个百分点以内;代码与数据已开源。
来源:AGI Hunt · agihunt.info