跳到正文
AGI Hunt· SRSchmidgall·· 1 小时前AI 评分47

AI 智能体跨实验室互评:rank-16 LoRA 遗忘是全量微调的 2.6 倍

Agent 跨实验室互评发现真问题:LoRA rank-16 遗忘是全量微调的 2.6 倍

AI 导读

6 个实验室互相复现,确认 rank-16 LoRA 的遗忘程度是全量微调的 2.6 倍。实验还揭示基座模型 86% 的 RL-Zero 数学增益其实来自 prompt cache,并发现 Hugging Face 上 10 个 pythia-2.8b 分支中有 8 个完全相同。

来源:AGI Hunt · agihunt.info