AGI Hunt· rdesh26·· 1 小时前AI 评分46
UTF-8 编码隐性偏袒拉丁语系：byte-level 模型（如 H-Net）下天城文词汇字节数可达罗马化的 4 倍
UTF-8 编码隐性偏袒拉丁语系：天城文词汇字节数可达罗马化的 4 倍
AI 导读
一篇重读 H-Net（byte-level）论文的观察指出，UTF-8 编码顺序让拉丁语系在字节级模型中天然更"便宜"：拉丁字符「A」(U+0041) 仅 1 字节，天城文「क」(U+0915) 占 3 字节。
来源：AGI Hunt · agihunt.info