正交 LoRA 合并成单一 Super-adapter
先了解这件事
开发者 yb2698 将 Qwen3.8-27B 面向不同 agent harness 的三个 LoRA 适配器合并为单一 super-adapter;在 thinking 开启(xhigh)的六组配对评测中,平均得分由 55.5% 升至 63.5%,部分编程基准最高提升约 20 点,权重已发布至 Hugging Face。 yb2698 称,三个适配器的权重更新近乎正交,余弦相似度约为 0.01,因此可沿 rank 维度各以 ½ 权重拼接为 rank-96 的 LoRA,精确保留三项更新。在两种模式都能解决的任务上,合并后关闭 thinking 时工具调用减少 53%—73%,开启时减少 19%—48%;但若只使用单一 harness 且不开 thinking,该 harness 的专用适配器仍是更优选择。
AI 根据报道生成 · 2 小时前更新
事件进展
2 个进展
- 11月20日 21:49 · 1 篇报道公布 super-adapter 合并评测结果AGI Hunt:合并 LoRA super-adapter 实测:Qwen3.8-27B 六组基准平均得分由 55.5% 升至 63.5%
- 11月20日 21:41 · 2 篇报道讲解正交 LoRA 权重合并方法AGI Hunt:Qwen3.8-27B 三个 LoRA adapter 拼接为无损合并权重
报道时间线
沿着报道,了解事件的不同侧面。
- AGI HuntQwen3.8-27B 三个 LoRA adapter 拼接为无损合并权重
yb2698 介绍将 Qwen3.8-27B 的三个 harness adapter 沿 rank 维度按各 ½ 权重拼接,合并为 rank-96 的单一 LoRA。
- AGI Huntsuper-adapter 实测多基准平均提升 8 个点
super-adapter 多基准实测显示,thinking 开启(xhigh)时,Qwen3.8-27B 在 6 组基准上的平均成绩从 55.5% 升至 63.5%。在 SWE-Bench Pro(hard 51)上,Hermes Agent 从 45% 升至 61%,OpenCod 相关工具调用成本最多节省 73%。
- AGI Hunt合并 LoRA super-adapter 实测:Qwen3.8-27B 六组基准平均得分由 55.5% 升至 63.5%
yb2698 实测了 thinking 开启(xhigh)时合并 LoRA super-adapter 对 Qwen3.8-27B 编程能力的提升,6 组配对基准平均得分由 55.5% 升至 63.5%。
- AGI Huntyb2698 将一周 LoRA 适配器拼接为 super-adapter,Qwen3.8-27B 编程成绩最高提升 20 点
开发者 yb2698 为 Qwen3.8-27B 发布实验性 super-adapter,将本周针对不同 agent harness 训练的全部 LoRA 适配器拼接为一个大 LoRA,而非采用平均合并。该方法显著提升模型在 SWE-Bench Pro 等编程基准困难项上的成绩,最高提升约 20 点。
本事件热度走势
- 可比范围当前
- 9
- 可比范围峰值
- 1011月20日 22:00
- 近 24 小时变化
- –
趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。