跳到正文
热点事件持续更新

零梯度方法将算术电路编译进LLM

1 篇报道1 个报道来源3 小时前更新

先了解这件事

AI 综述

研究团队提出 closed-form 的零梯度 circuit-grafting 方法,将确定性算术电路直接编译进语言模型预训练权重,无需训练样本或运行时 hook。自动化编译器可合成4至8位带符号加减乘电路,并将每层归一化漂移控制在一定范围内。 在6位算术测试中,IBM Granite 4.2 3B和Qwen 3.5 4B的ALU-prefix准确率分别为99.17%和100.00%,句中恢复准确率为98%至100%;作为对比,使用1.28万条样本训练的LoRA对应准确率为42.2%和61.7%。块稀疏sidecar部署在A100上时,两者显存占用分别为7.89和10.65 GiB。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月20日
  1. AGI Hunt
    LLM 内置 CPU:零梯度 circuit-grafting 将精确算术电路编译进预训练权重

    研究提出 closed-form、零梯度的 circuit-grafting 方法,将确定性算术直接编译进 LLM 预训练权重,无需训练样本或运行时 hook。6 位算术测试中,IBM Granite 4.2 3B 达到 99.17%,Qwen 3.5 4B 达到 100.00% ALU-prefix 准确率,显著超过 12.8K 样本 LoRA 的 42.2% 和 61.7%。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。