跳到正文
热点事件持续更新

NRGPT以能量模型改写GPT推理

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

Andriy Burkov 介绍 NRGPT 论文,提出把 GPT 的逐词元预测改写为能量模型,以能量函数梯度更新词元表示,使推理成为朝更低能量、更合理词元表示移动的过程。 该设计保留 GPT 的自回归结构,论文在 ListOps、莎士比亚文本和 OpenWebText 上与基线进行比较,以评估这种显式能量建模方式。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月4日
  1. AGI Hunt
    NRGPT 论文:让 GPT 推理显式建模为能量面下降

    Andriy Burkov 介绍 NRGPT 论文,将 GPT 式的 next-token 预测改写为能量模型,把推理视为在能量地形上向更合理的 token 表示移动。研究设计保留 GPT 自回归结构的类 GPT 架构,以能量函数梯度更新 token 表示,并在 ListOps、莎士比亚文本和 OpenWebText 上与基线对比。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。