H-Net短歌词分词数量约为BPE的1/2.4
热点事件持续更新
H-Net短歌词分词数量约为BPE的1/2.4
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
开发者 mgostIH 转发并介绍 LLMenjoyer 的分词对比测试：在短歌词文本上，H-Net“bitter lesson版”内部 checkpoint 的 token 数约为 BPE 的 1/2.4；mgostIH 同时征集可用于分词测试的文本。 对比图显示，BPE 会把重复拟声词和短语切成大量碎片 token，而 H-Net 可将整段重复内容合并为少数长 token。该结果目前来自短歌词文本测试及内部 checkpoint。
AI 根据报道生成 · 1 小时前更新
最新进展10月29日 22:53
H-Net 分词器实测：短歌词文本 token 数约为 BPE 的 1/2.4报道时间线
沿着报道，了解事件的不同侧面。
10月29日
- AGI HuntH-Net 分词器实测：短歌词文本 token 数约为 BPE 的 1/2.4
H-Net（bitter lesson 版）分词器在短歌词文本测试中，内部 checkpoint 的 token 数约为 BPE 的 1/2.4。对比图显示，BPE 会将重复拟声词和短语切分为大量碎片 token，而 H-Net 可将整段重复内容合并为极少数长 token。测试作者同时征集可用于分词测试的文本。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。