Meta提出特征重要性嵌入剪枝方法
热点事件持续更新
Meta提出特征重要性嵌入剪枝方法
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
Meta团队在arXiv发表论文,提出FI-ITEP按特征重要性而非表尺寸决定推荐模型各嵌入表的剪枝比例,将更多剪枝预算分配给不重要特征,实验显示可减少资源消耗且保持或提升精度。 在三个大规模推荐模型上,该方法使总内存缩减20%—40%,精度持平或更好;构建同等模型所需GPU训练机由112台降至80台,每次训练节省超过1000个GPU小时。团队还在开源DLRM的Criteo 1TB数据集上复现了这一趋势。
AI 根据报道生成 · 2 小时前更新
最新进展11月20日 13:59
Meta FI-ITEP:按特征重要性剪枝嵌入表,节省 20–40% 内存且精度不掉报道时间线
沿着报道,了解事件的不同侧面。
11月20日
- AGI HuntMeta FI-ITEP:按特征重要性剪枝嵌入表,节省 20–40% 内存且精度不掉
Meta 团队提出 FI-ITEP,用特征重要性而非尺寸启发式决定推荐模型中各嵌入表的剪枝比例,将更多预算分配给不重要特征的表。在三个大规模推荐模型上实现 20–40% 总内存缩减,精度持平或更好,同等模型所需 GPU 训练机从 112 台降至 80 台,每次训练节省 1000+ GPU 小时,并在开源 DLRM(Criteo 1TB)上复现趋势。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。