LoL让Transformer按任务动态排列层

EPFL、马里兰大学、NYU和哥伦比亚大学团队提出 Library of Layers（LoL），让Transformer在推理时按具体任务动态排列各层，而非始终按固定顺序执行；目前该架构已在合成数独和迷宫任务中展示可干预的策略路由。 LoL以全局层库大小作为超参数，在统一的参数与FLOPs效率权衡下支持dense、depth-recurrent和MoE等架构。相关结果来自合成任务实验，报道未显示其已在实际大语言模型任务中验证。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。