跳到正文
热点事件持续更新

forking探针差距与上下文频率呈幂律

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

刘子鸣发布研究分析,定量指出 forking 造成的 probe gap 会随上下文中的 n-gram 越稀有而增大,其大小大致随上下文频率 F 呈幂律变化。 分析称,掩蔽低频 n-gram 的读取可显著缩小 probe gap。SCONE 已采用类似做法,其 BPE 风格挖掘仅为高频 n-gram 分配 memory 行。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月27日
  1. AGI Hunt
    forking 收官:probe gap 随上下文频率呈幂律,掩蔽低频 n-gram 可缩小差距

    ZimingLiu11 系列第 6 条给出 forking 机制的定量结论:上下文越稀有,probe gap 越大,其大小大致随 context frequency F 呈幂律变化。掩蔽低频 n-gram 读取可显著缩小差距,SCONE 的 BPE 风格挖掘仅给高频 n-gram 分配 memory 行,配图对比了 F≤1/2/4/8/200 时的 online gap。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。