跳到正文
热点事件持续更新

论文揭示图软提示出现 token collapse

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

罗马第一大学、剑桥大学等机构论文作者分析 G-Retriever 一类图软提示方法,发现模型学到的图 token 会出现“token collapse”,在3个基准、3种图编码器和2个大语言模型家族(含冻结与LoRA微调)实验中几乎不可区分,退化为通用提示,未真正编码图中的关系信息。 作者建议,图软提示评测应加入 alignment probe,直接检验图 token 是否能对应并表达关系结构,避免仅凭问答表现判断方法有效。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月27日
  1. AGI Hunt
    罗马第一大学、剑桥等机构论文揭示图软提示的 token collapse 病态行为

    罗马第一大学、剑桥等机构分析 G-Retriever 一类图软提示方法,提出 token collapse 问题。跨 3 个 benchmark、3 种图编码器和 2 个 LLM 家族的实验显示,图 token 几乎不可区分并退化为通用 prompt;研究建议评测中加入 alignment probe,检验图 token 是否真正编码关系结构。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。