姚顺雨分享笔记谈小模型与RSI路径
热点事件持续更新
姚顺雨分享笔记谈小模型与RSI路径
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
据称源自姚顺雨闭门分享的笔记认为,AI for AI 将推动小模型体系发展:先训练强基座大模型,再蒸馏出适配不同任务的模型,形成模型层级;RSI 可让模型参与修 Bug、数据清洗和实验验证,但小实验噪声可能掩盖真实信号。 姚顺雨称,在 Llama 13B 上融入 ReAct 效果很差,原因在于模型规模不足;预训练数据复用仍是难点。笔记强调,小模型研发不能只靠小规模实验结果判断改进是否有效。
AI 根据报道生成 · 39 分钟前更新
最新进展11月20日 01:21
姚顺雨内部分享笔记:小模型体系、RSI 与小实验陷阱报道时间线
沿着报道,了解事件的不同侧面。
11月20日
- AGI Hunt姚顺雨内部分享笔记:小模型体系、RSI 与小实验陷阱
据称源自清华朋友渠道的姚顺雨闭门分享笔记认为,AI for AI 将推动小模型发展,未来可能先训练强基座大模型,再蒸馏出适配不同任务的模型,形成 Model Hierarchy。笔记指出,RSI 可让模型参与修 Bug、数据清洗和实验验证的研发闭环,但小实验噪声可能掩盖信号。姚顺雨称,在 Llama 13B 上融入 ReAct 效果很差,原因是模型规模不足;预训练数据复用仍是难点。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。