AGI Hunt· ZimingLiu11·· 7 小时前AI 评分43
forking 收官:probe gap 随上下文频率呈幂律,掩蔽低频 n-gram 可缩小差距
AI 导读
ZimingLiu11 系列第 6 条给出 forking 机制的定量结论:上下文越稀有,probe gap 越大,其大小大致随 context frequency F 呈幂律变化。掩蔽低频 n-gram 读取可显著缩小差距,SCONE 的 BPE 风格挖掘仅给高频 n-gram 分配 memory 行,配图对比了 F≤1/2/4/8/200 时的 online gap。
来源:AGI Hunt · agihunt.info