跳到正文
AGI Hunt· niloofar_mire·· 3 小时前AI 评分40

Albert Gu 谈 H-Net 学中文:字节流训练初期会切错汉字,最终自己学会

AI 导读

H-Net 作者 Albert Gu 补充说明,多字节语言端到端训练早期会错误细分汉字,模型最终自行学会正确分块。原版 H-Net 中该问题一度突出,BPE 在生僻字上同样处理不佳;新版在受控 scaling law 实验中取得最高 3-5 倍效率提升。

来源:AGI Hunt · agihunt.info