零梯度方法将算术电路编译进LLM
热点事件持续更新
零梯度方法将算术电路编译进LLM
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
研究团队提出 closed-form 的零梯度 circuit-grafting 方法,将确定性算术电路直接编译进语言模型预训练权重,无需训练样本或运行时 hook。自动化编译器可合成4至8位带符号加减乘电路,并将每层归一化漂移控制在一定范围内。 在6位算术测试中,IBM Granite 4.2 3B和Qwen 3.5 4B的ALU-prefix准确率分别为99.17%和100.00%,句中恢复准确率为98%至100%;作为对比,使用1.28万条样本训练的LoRA对应准确率为42.2%和61.7%。块稀疏sidecar部署在A100上时,两者显存占用分别为7.89和10.65 GiB。
AI 根据报道生成 · 2 小时前更新
最新进展11月20日 22:17
LLM 内置 CPU:零梯度 circuit-grafting 将精确算术电路编译进预训练权重报道时间线
沿着报道,了解事件的不同侧面。
11月20日
- AGI HuntLLM 内置 CPU:零梯度 circuit-grafting 将精确算术电路编译进预训练权重
研究提出 closed-form、零梯度的 circuit-grafting 方法,将确定性算术直接编译进 LLM 预训练权重,无需训练样本或运行时 hook。6 位算术测试中,IBM Granite 4.2 3B 达到 99.17%,Qwen 3.5 4B 达到 100.00% ALU-prefix 准确率,显著超过 12.8K 样本 LoRA 的 42.2% 和 61.7%。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。