论文揭示有限上下文下的对抗不可能性

Mehryar Mohri等作者在arXiv发表论文《Next-Token Prediction and Regret Minimization》，从理论上证明：有限上下文窗口下，存在与任何低遗憾分布保持常数级距离的对手策略分布，因而仅靠扩大有限窗口无法普遍获得低对抗遗憾；适度扩展上下文则可恢复近最优保证。 论文同时指出，在无限上下文条件下，任意对手动作序列分布都可在总变差距离上指数级接近某个低遗憾分布，使下一词预测与低遗憾原则上不根本冲突。基于完整历史的构造可由增加常数数量的Transformer层实现，但目前只有小模型实验提供初步支持。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。