AGI Hunt· burny_tech·· 3 小时前AI 评分49
Neuron Tuning 微调法:只调少量神经元,对无关文本扰动比 LoRA 低 3-19 倍
AI 导读
Jonathan Chang 提出 Neuron Tuning,仅微调目标上下文中激活的少数神经元,而不更新权重矩阵。三组实验显示,与同规模 LoRA(rank 8,1200 万参数)相比,该方法对无关文本的扰动低 5-19 倍;全局激活的神经元反而会造成 4-37 倍的更大扰动。
来源:AGI Hunt · agihunt.info