AGI Hunt· _reachsumit·· 3 小时前AI 评分45
Meta FI-ITEP:按特征重要性剪枝嵌入表,节省 20–40% 内存且精度不掉
Meta 论文:按特征重要性剪枝嵌入表,省 20-40% 内存且不掉精度
AI 导读
Meta 团队提出 FI-ITEP,用特征重要性而非尺寸启发式决定推荐模型中各嵌入表的剪枝比例,将更多预算分配给不重要特征的表。在三个大规模推荐模型上实现 20–40% 总内存缩减,精度持平或更好,同等模型所需 GPU 训练机从 112 台降至 80 台,每次训练节省 1000+ GPU 小时,并在开源 DLRM(Criteo 1TB)上复现趋势。
来源:AGI Hunt · agihunt.info