AGI Hunt· _reachsumit·· 3 小时前AI 评分41
COMPOTE:退火目标防止序列推荐中的头部坍缩
多假设序列推荐新方法 Compote:退火目标防止头部坍缩
AI 导读
arXiv 论文提出 COMPOTE,通过将均匀监督退火过渡到 winner-takes-all 分配,让多头 Transformer 覆盖不同序列延续区域,避免头部坍缩。方法采用无需归一化的最大相似度推理规则,并给出随假设数对数增长的泛化界;在三个 Amazon Reviews 2023 基准上,仅使用 item ID 即超过强 ID、生成式和多兴趣基线。
来源:AGI Hunt · agihunt.info