AGI Hunt· ByteDance-Seed·· 4 小时前AI 评分43
字节 FlashMorph2:用在线策略层选择改造混合注意力模型
字节 FlashMorph2:在线策略层选择改造混合注意力模型
AI 导读
字节 Seed 团队提出 FlashMorph2,通过在线策略层选择,将预训练 Transformer 转换为全注意力与线性注意力结合的混合架构。方法利用模型自身隐藏态端到端评估离散混合架构,并在恢复预算下联合优化层选择分数与模型权重,从而高效选层并提升长上下文基准成绩。
来源:AGI Hunt · agihunt.info