论文揭示图软提示出现 token collapse
热点事件持续更新
论文揭示图软提示出现 token collapse
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
罗马第一大学、剑桥大学等机构论文作者分析 G-Retriever 一类图软提示方法,发现模型学到的图 token 会出现“token collapse”,在3个基准、3种图编码器和2个大语言模型家族(含冻结与LoRA微调)实验中几乎不可区分,退化为通用提示,未真正编码图中的关系信息。 作者建议,图软提示评测应加入 alignment probe,直接检验图 token 是否能对应并表达关系结构,避免仅凭问答表现判断方法有效。
AI 根据报道生成 · 2 小时前更新
最新进展10月27日 02:17
罗马第一大学、剑桥等机构论文揭示图软提示的 token collapse 病态行为报道时间线
沿着报道,了解事件的不同侧面。
10月27日
- AGI Hunt罗马第一大学、剑桥等机构论文揭示图软提示的 token collapse 病态行为
罗马第一大学、剑桥等机构分析 G-Retriever 一类图软提示方法,提出 token collapse 问题。跨 3 个 benchmark、3 种图编码器和 2 个 LLM 家族的实验显示,图 token 几乎不可区分并退化为通用 prompt;研究建议评测中加入 alignment probe,检验图 token 是否真正编码关系结构。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。