kalomaze称固定长度基线挑战BPE
热点事件持续更新
kalomaze称固定长度基线挑战BPE
2 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
AI研究者 kalomaze 称，将固定大小的 UTF-8 位直接做线性投影、无需专用 embedding 表的 tokenizer 基线取得了不错效果，因此认为 BPE 的主导地位更多源于惯性，而非必要性。 他同时指出，无分词器训练需要尺寸固定的计算单元，而 H-net 的计算单元会随训练变化，使其在相同 bpb 与 FLOPS 条件下难以与相关方案公平比较。
AI 根据报道生成 · 2 小时前更新
最新进展10月29日 03:43
kalomaze：固定长度计算单元是 H-net 痛点，BPE 只是惯性赢家报道时间线
沿着报道，了解事件的不同侧面。
10月29日
- AGI Huntkalomaze：固定长度计算单元是 H-net 痛点，BPE 只是惯性赢家
kalomaze 指出，无分词器训练需要尺寸固定的计算单元，而 H-net 的计算单元会随训练变化，导致在等 bpb + FLOPS 下难以公平对比。他分享的固定长度 UTF-8 bit 线性投影基线在不使用 embedding 表的情况下效果也不错，因此认为 BPE 的统治地位更多源于惯性，而非本质优势。
- AGI Huntkalomaze：固定尺寸 UTF-8 线性投影基线足以挑战 BPE 的统治地位
AI 研究者 kalomaze 表示，对固定大小 UTF-8 位进行线性投影、且完全不使用专用 embedding 表的 tokenizer 基线，曾取得不错效果，因此认为 BPE 在分词领域的主导地位更多源于惯性，而非必要性。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。