AIHOT·· 2 天前AI 评分57
Cartesia 发布 H-Net 扩缩律研究:字节级层级网络最高提升 3-5x 计算效率
Cartesia 发布 H-Net 扩缩律研究:字节级层级网络比 BPE 提升最高 3-5x 计算效率
AI 导读
Cartesia 发布 H-Net 扩缩律研究,报告字节级单阶段 H-Net 相比 BPE Transformer 在验证损失上达到 1.28x 计算效率,下游评测最高达到 2.06x。两阶段 H-Net 在与 SmolLM3 对照中约用 0.99T token 达到其 11.04T token 的最终平均分,并报告在 DNA 建模中取得约 6-7x 计算效率增益。
来源:AIHOT · cartesia.ai