AGI Hunt· _reachsumit·· 2 小时前AI 评分31
HiRank 用有效秩缩放统一行为序列建模与特征交互,服务多场景推荐排序
AI 导读
论文提出 HiRank 统一框架,用门控序列注意力与异构特征交互在统一骨干中双向融合序列与非序列表示,并通过场景感知聚合将异构低阶 token 压缩为紧凑表示。该框架指出,直接对所有语义 token 套用同构自注意力在两类信号有效秩不同时效率低下,共享表示还可能忽略场景特有模式、引发负迁移,各场景独立学习的投影则用于生成场景感知复合 token 以支撑高阶自注意力。
来源:AGI Hunt · agihunt.info