跳到正文
AGI Hunt· ITMO·· 2 小时前AI 评分45

TWIG 论文解析:权重即离散决策路径,统一压缩与电路化部署

TWIG 论文:权重即离散决策路径,统一压缩与电路化部署

AI 导读

ITMO 大学 LEAD Lab 提出 TWIG,将神经网络每个权重表示为离散决策路径的终点,使任意训练好的网络都能写成 TWIG。其决策采用 2 的幂时,权重层可转化为由连线与加法器构成的电路,并统一剪枝、量化、低秩分解、码本和权重共享优化。

来源:AGI Hunt · agihunt.info