跳到正文
AGI Hunt· CatAstro_Piyush·· 2 小时前AI 评分45

POSTECH 论文:权重空间编程弃用 Transformer,参数省 680 倍、推理快 17 倍

AI 导读

POSTECH 的 Hyunjong Ok 与 Jaeho Lee 提出,LLM 无梯度直接编写网络权重时,可采用基于联想记忆的 0/1 事实表与规则架构替代 Transformer。在 ARC 基准同等精度下,参数较同一 LLM 写出的最佳 Transformer 少约 680-1800 倍,配合定制内存架构后 GPU 推理最高快 17 倍,论文与代码已公开。

来源:AGI Hunt · agihunt.info