跳到正文
AGI Hunt· jiqizhixin·· 2 小时前AI 评分34

Mila 等机构发布 HyperQ:给冻结 1.1B 扩散语言模型加入 token 级量子残差分支

Mila 等机构发布 HyperQ:给冻结 1.1B 扩散语言模型加量子残差分支

AI 导读

Mila 等机构提出 HyperQ,在冻结的 1.1B 掩码扩散语言模型中加入可训练的 token 级量子残差分支。主干全程冻结,rank 16 的小型 hypernetwork 按 token 预测电路参数;六项基准平均得分从 49.59% 提升至 54.30%。训练与评测均采用经典模拟,不依赖量子硬件加速,也未宣称量子加速优势。

来源:AGI Hunt · agihunt.info