AGI Hunt· xennygrimmato_·· 4 小时前AI 评分36
Byte H-Net 预训练评测:以约 1/10 训练 token 追平 SmolLM3-3B
Byte H-Net 用不到 1/10 训练 token 追平 SmolLM3-3B 成绩
AI 导读
Byte H-Net 在计算和数据匹配条件下,仅用约 1T token 预训练便达到 SmolLM3-3B 使用约 11T token 的水平。六项任务平均分最终收敛至相近的约 64%,显示字节级 H-Net 的训练数据效率显著优于 BPE Transformer。
来源:AGI Hunt · agihunt.info