跳到正文
AGI Hunt· Mostafa 'Neo' Mohsenvand·· 48 分钟前AI 评分52

《Attention at Absolute Zero》提出零温度读取提升7B模型推理能力

「绝对零度注意力」论文:零温度读取让 7B 模型推理从44%跃升至精确

AI 导读

论文《Attention at Absolute Zero》提出一种基于“物品对”状态的高阶注意力层,通过在零温度下读取并重建状态来消除三类软注意力失效。论文报告,在仅16条样本上训练后,冻结的7B模型在1000条家庭关系陈述上实现精确推理,单独准确率为44%;在CLUTRR上精确学得全部62条规则,从文本出发的准确率从33%提升至65%。

来源:AGI Hunt · agihunt.info