跳到正文
AGI Hunt· yangyi·· 2 小时前AI 评分39

姚顺雨内部分享笔记:小模型体系、RSI 与小实验陷阱

姚顺雨内部分享笔记流出:小模型体系、RSI 与小实验陷阱

AI 导读

据称源自清华朋友渠道的姚顺雨闭门分享笔记认为,AI for AI 将推动小模型发展,未来可能先训练强基座大模型,再蒸馏出适配不同任务的模型,形成 Model Hierarchy。笔记指出,RSI 可让模型参与修 Bug、数据清洗和实验验证的研发闭环,但小实验噪声可能掩盖信号。姚顺雨称,在 Llama 13B 上融入 ReAct 效果很差,原因是模型规模不足;预训练数据复用仍是难点。

来源:AGI Hunt · agihunt.info