跳到正文
AGI Hunt· kalomaze·· 3 小时前AI 评分44

kalomaze:固定长度计算单元是 H-net 痛点,BPE 只是惯性赢家

kalomaze:固定长度计算单元是H-net痛点,BPE只是惯性赢家

AI 导读

kalomaze 指出,无分词器训练需要尺寸固定的计算单元,而 H-net 的计算单元会随训练变化,导致在等 bpb + FLOPS 下难以公平对比。他分享的固定长度 UTF-8 bit 线性投影基线在不使用 embedding 表的情况下效果也不错,因此认为 BPE 的统治地位更多源于惯性,而非本质优势。

来源:AGI Hunt · agihunt.info