AGI Hunt· Abdellah Rahmani·· 2 小时前AI 评分43
EPFL 等提出 Library of Layers:推理时动态排序 Transformer 层
EPFL 等提出 Library of Layers:推理时动态排序 Transformer 层
AI 导读
EPFL 等高校团队提出 Library of Layers(LoL),在推理时动态排列 Transformer 层适配具体任务。该架构仅以全局层库大小为超参数,统一 dense、depth-recurrent 和 MoE 的参数与 FLOPs 效率权衡,并在合成数独和迷宫任务中展示可干预的策略路由。
来源:AGI Hunt · agihunt.info