AGI Hunt· Nandakishor_ml·· 3 小时前AI 评分51
Laya 决策模型以 3 毫秒免梯度方式改写 Qwen 3.5 0.8B 权重
3 毫秒免训练改 LLM 权重:决策模型蒸馏效果媲美 LoRA
AI 导读
开发者基于开源决策模型 Laya,以闭式解将决策能力蒸馏进 Qwen 3.5 0.8B,无需梯度下降即可编辑权重。93 条 held-out 请求基准中,工具选择准确率从 80% 提升至 93.5%,ready 判断从 18% 提升至 97.8%;单次编辑耗时 3 毫秒,仅改动 26.2 万个权重。代码已在 Kaggle 开源。
来源:AGI Hunt · agihunt.info