跳到正文
热点事件持续更新

姚顺雨分享笔记谈小模型与RSI路径

1 篇报道1 个报道来源1 小时前更新

先了解这件事

AI 综述

据称源自姚顺雨闭门分享的笔记认为,AI for AI 将推动小模型体系发展:先训练强基座大模型,再蒸馏出适配不同任务的模型,形成模型层级;RSI 可让模型参与修 Bug、数据清洗和实验验证,但小实验噪声可能掩盖真实信号。 姚顺雨称,在 Llama 13B 上融入 ReAct 效果很差,原因在于模型规模不足;预训练数据复用仍是难点。笔记强调,小模型研发不能只靠小规模实验结果判断改进是否有效。

AI 根据报道生成 · 39 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月20日
  1. AGI Hunt
    姚顺雨内部分享笔记:小模型体系、RSI 与小实验陷阱

    据称源自清华朋友渠道的姚顺雨闭门分享笔记认为,AI for AI 将推动小模型发展,未来可能先训练强基座大模型,再蒸馏出适配不同任务的模型,形成 Model Hierarchy。笔记指出,RSI 可让模型参与修 Bug、数据清洗和实验验证的研发闭环,但小实验噪声可能掩盖信号。姚顺雨称,在 Llama 13B 上融入 ReAct 效果很差,原因是模型规模不足;预训练数据复用仍是难点。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。