跳到正文
AGI Hunt· kalyan_kpl·· 52 分钟前AI 评分43

词汇表税:裁剪 89.7% 无用词表,让 LLM 更易端侧部署

词汇表税:裁剪 89.7% 无用词表让 LLM 更易端侧部署

AI 导读

论文《The Vocabulary Tax》提出在保持分词器正确性的前提下删除 LLM 未使用词表项的方法,以降低嵌入表、输出头和逐层嵌入的内存占用。基于文字系统的策略可保持分词结果不变,基于语料的策略节省更多但可能改变分词结果;6 个模型、11 种语言的中位裁剪幅度达 89.7%。

来源:AGI Hunt · agihunt.info