跳到正文
AGI Hunt· jiqizhixin·· 2 小时前AI 评分37

哈工大深圳等提出 STILL:内容感知层内混合注意力实现 LLM 原地线性化

哈工大深圳等提出 STILL:内容感知层内混合注意力,原地线性化 LLM

AI 导读

哈尔滨工业大学(深圳)、鹏城实验室、昆士兰大学和雷丁大学提出 STILL(ArXiv 2602.02180),该研究被 NeurIPS 2026 接收。STILL 通过选择 token 实现内容感知的层内混合注意力,将现有预训练 LLM 原地线性化,避免滑动窗口位置路由和特征映射破坏归一化结构的问题。

来源:AGI Hunt · agihunt.info