跳到正文
AGI Hunt· prathamdmehta·· 10 小时前AI 评分36

LoRA 微调 Qwen3 0.6B 时,caption 短于 4 token 会丢失首行

LoRA 微调 Qwen3 遇诡异 bug:caption 短于 4 token 必丢首行

AI 导读

一名硕士生用 LoRA 微调 Qwen3 0.6B 时发现,短 caption 会导致模型稳定跳过根节点行,12 次测试均以首 token 为“b”出错。caption 约 18+ token 时 36/36 全对,15 token 附近则不稳定;目前可扩写短 caption 规避,并排查分布偏移、bf16 合并精度及数据增强等问题。

来源:AGI Hunt · agihunt.info