跳到正文
热点事件持续更新

论文提出LLM无用词表裁剪方法

1 篇报道1 个报道来源44 分钟前更新

先了解这件事

AI 综述

论文《The Vocabulary Tax》提出裁剪大语言模型未使用词表条目的方法,在降低嵌入表、输出头和逐层嵌入内存占用的同时,帮助模型部署到端侧设备;对6个模型、11种语言的测试显示,中位裁剪幅度达89.7%。 方法分两类:基于文字系统的策略保留目标语言书写系统所需的词项,可完全保持分词结果不变;基于语料的策略仅保留部署文本中实际出现的词项,节省的内存更多,但可能改变分词结果。

AI 根据报道生成 · 21 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月19日
  1. AGI Hunt
    词汇表税:裁剪 89.7% 无用词表,让 LLM 更易端侧部署

    论文《The Vocabulary Tax》提出在保持分词器正确性的前提下删除 LLM 未使用词表项的方法,以降低嵌入表、输出头和逐层嵌入的内存占用。基于文字系统的策略可保持分词结果不变,基于语料的策略节省更多但可能改变分词结果;6 个模型、11 种语言的中位裁剪幅度达 89.7%。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。