跳到正文
热点事件持续更新

Meta提出特征重要性嵌入剪枝方法

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

Meta团队在arXiv发表论文,提出FI-ITEP按特征重要性而非表尺寸决定推荐模型各嵌入表的剪枝比例,将更多剪枝预算分配给不重要特征,实验显示可减少资源消耗且保持或提升精度。 在三个大规模推荐模型上,该方法使总内存缩减20%—40%,精度持平或更好;构建同等模型所需GPU训练机由112台降至80台,每次训练节省超过1000个GPU小时。团队还在开源DLRM的Criteo 1TB数据集上复现了这一趋势。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月20日
  1. AGI Hunt
    Meta FI-ITEP:按特征重要性剪枝嵌入表,节省 20–40% 内存且精度不掉

    Meta 团队提出 FI-ITEP,用特征重要性而非尺寸启发式决定推荐模型中各嵌入表的剪枝比例,将更多预算分配给不重要特征的表。在三个大规模推荐模型上实现 20–40% 总内存缩减,精度持平或更好,同等模型所需 GPU 训练机从 112 台降至 80 台,每次训练节省 1000+ GPU 小时,并在开源 DLRM(Criteo 1TB)上复现趋势。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。