Cartesia称H-Net以约十分之一数据量追平SmolLM3-3B
热点事件持续更新
Cartesia称H-Net以约十分之一数据量追平SmolLM3-3B
2 篇报道2 个报道来源3 小时前更新
先了解这件事
AI 综述
Cartesia发布改进版字节级层级网络H-Net的研究称，在计算和数据匹配条件下，两阶段H-Net预训练约0.99万亿token后，达到SmolLM3-3B使用约11.04万亿token时的最终水平；六项下游任务平均分均收敛至约64%。 该研究称，字节级单阶段H-Net在验证损失上的计算效率为BPE Transformer的1.28倍，下游评测最高为2.06倍，DNA建模中则达到约6—7倍。上述结果来自研究实验，改进版H-Net及相关架构尚计划分阶段向社区发布。
AI 根据报道生成 · 2 小时前更新
最新进展10月29日 02:42
Byte H-Net 预训练评测：以约 1/10 训练 token 追平 SmolLM3-3B事件进展
2 个进展
- 10月29日 02:42 · 1 篇报道Byte H-Net 预训练评测：以约 1/10 训练 token 追平 SmolLM3-3BAGI Hunt：Byte H-Net 预训练评测：以约 1/10 训练 token 追平 SmolLM3-3B
- 10月27日 08:00 · 1 篇报道发布H-Net扩缩律与计算效率研究AIHOT：Cartesia 发布 H-Net 扩缩律研究：字节级层级网络最高提升 3-5x 计算效率
报道时间线
沿着报道，了解事件的不同侧面。
10月29日
- AGI HuntByte H-Net 预训练评测：以约 1/10 训练 token 追平 SmolLM3-3B
Byte H-Net 在计算和数据匹配条件下，仅用约 1T token 预训练便达到 SmolLM3-3B 使用约 11T token 的水平。六项任务平均分最终收敛至相近的约 64%，显示字节级 H-Net 的训练数据效率显著优于 BPE Transformer。
10月27日
- AIHOTCartesia 发布 H-Net 扩缩律研究：字节级层级网络最高提升 3-5x 计算效率
Cartesia 发布 H-Net 扩缩律研究，报告字节级单阶段 H-Net 相比 BPE Transformer 在验证损失上达到 1.28x 计算效率，下游评测最高达到 2.06x。两阶段 H-Net 在与 SmolLM3 对照中约用 0.99T token 达到其 11.04T token 的最终平均分，并报告在 DNA 建模中取得约 6-7x 计算效率增益。
本事件热度走势
- 可比范围当前
- 12
- 可比范围峰值
- 1310月29日 03:00
- 近 24 小时变化
- –
051015
03:0004:0005:00
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。