跳到正文
热点事件持续更新

COMPOTE以多假设学习缓解序列推荐头部坍缩

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

COMPOTE研究团队在arXiv论文中提出一种序列推荐方法,将训练目标由均匀监督逐步退火至“赢家通吃”分配,使多头Transformer分别覆盖不同的合理后续,并采用无需归一化的最大相似度规则进行推理。 论文称,该方法在三个Amazon Reviews 2023基准上仅使用商品ID,便超过多种基于ID的强基线以及生成式、多兴趣基线;其泛化界随假设数量仅呈对数增长。不过,这些效果目前属于论文报告的实验结果。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月29日
  1. AGI Hunt
    COMPOTE:退火目标防止序列推荐中的头部坍缩

    arXiv 论文提出 COMPOTE,通过将均匀监督退火过渡到 winner-takes-all 分配,让多头 Transformer 覆盖不同序列延续区域,避免头部坍缩。方法采用无需归一化的最大相似度推理规则,并给出随假设数对数增长的泛化界;在三个 Amazon Reviews 2023 基准上,仅使用 item ID 即超过强 ID、生成式和多兴趣基线。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。