AGI Hunt· iScienceLuvr·· 3 小时前AI 评分42
Meta FAIR 发文研究循环 Transformer 扩展规律
AI 导读
Meta FAIR 发布论文《How to Loop Your Transformer》,研究重复应用同一 Transformer 权重以扩展网络深度且不增加参数量的规律。实验最多采用 32 个 loop,并发现饱和反转点及并行推理问题的解决方案;论文共 9 位作者,包括 Mike Lewis。
来源:AGI Hunt · agihunt.info