论文提出LLM无用词表裁剪方法
热点事件持续更新
论文提出LLM无用词表裁剪方法
1 篇报道1 个报道来源44 分钟前更新
先了解这件事
AI 综述
论文《The Vocabulary Tax》提出裁剪大语言模型未使用词表条目的方法,在降低嵌入表、输出头和逐层嵌入内存占用的同时,帮助模型部署到端侧设备;对6个模型、11种语言的测试显示,中位裁剪幅度达89.7%。 方法分两类:基于文字系统的策略保留目标语言书写系统所需的词项,可完全保持分词结果不变;基于语料的策略仅保留部署文本中实际出现的词项,节省的内存更多,但可能改变分词结果。
AI 根据报道生成 · 21 分钟前更新
最新进展11月19日 10:09
词汇表税:裁剪 89.7% 无用词表,让 LLM 更易端侧部署报道时间线
沿着报道,了解事件的不同侧面。
11月19日
- AGI Hunt词汇表税:裁剪 89.7% 无用词表,让 LLM 更易端侧部署
论文《The Vocabulary Tax》提出在保持分词器正确性的前提下删除 LLM 未使用词表项的方法,以降低嵌入表、输出头和逐层嵌入的内存占用。基于文字系统的策略可保持分词结果不变,基于语料的策略节省更多但可能改变分词结果;6 个模型、11 种语言的中位裁剪幅度达 89.7%。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。