跳到正文
热点事件持续更新

零温度高阶注意力提升7B模型推理

1 篇报道1 个报道来源34 分钟前更新

先了解这件事

AI 综述

Mostafa “Neo” Mohsenvand在论文《Attention at Absolute Zero》中提出一种高阶注意力层:以“物品对”构建状态,把第三个物品作为“见证者”进行评估,并在零温度下仅保留最佳见证者及并列者,同时在循环中从输入重建状态。 论文报告,冻结的7B模型仅用16条样本训练后,在1000条家庭关系陈述上的精确推理准确率为44%;在CLUTRR上精确学得全部62条规则,从文本出发的准确率由33%提升至65%。这些结果属于论文给出的实验结论。

AI 根据报道生成 · 14 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月19日
  1. AGI Hunt
    《Attention at Absolute Zero》提出零温度读取提升7B模型推理能力

    论文《Attention at Absolute Zero》提出一种基于“物品对”状态的高阶注意力层,通过在零温度下读取并重建状态来消除三类软注意力失效。论文报告,在仅16条样本上训练后,冻结的7B模型在1000条家庭关系陈述上实现精确推理,单独准确率为44%;在CLUTRR上精确学得全部62条规则,从文本出发的准确率从33%提升至65%。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。