POSTECH提出事实表权重编程方法
热点事件持续更新
POSTECH提出事实表权重编程方法
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
POSTECH研究人员Hyunjong Ok与Jaeho Lee提出一种非Transformer的权重空间编程方法:用存储0/1事实的联想记忆表配合规则架构,直接生成大语言模型网络权重,无需梯度训练;相关论文与代码已公开。 在ARC基准上,该方法达到与同一大语言模型写出的最佳Transformer相当的精度,参数量少约680至1800倍;采用配套定制内存架构后,GPU推理最高可提速17倍。
AI 根据报道生成 · 59 分钟前更新
最新进展11月17日 13:30
POSTECH 论文:权重空间编程弃用 Transformer,参数省 680 倍、推理快 17 倍报道时间线
沿着报道,了解事件的不同侧面。
11月17日
- AGI HuntPOSTECH 论文:权重空间编程弃用 Transformer,参数省 680 倍、推理快 17 倍
POSTECH 的 Hyunjong Ok 与 Jaeho Lee 提出,LLM 无梯度直接编写网络权重时,可采用基于联想记忆的 0/1 事实表与规则架构替代 Transformer。在 ARC 基准同等精度下,参数较同一 LLM 写出的最佳 Transformer 少约 680-1800 倍,配合定制内存架构后 GPU 推理最高快 17 倍,论文与代码已公开。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。