研究者预注册检验新 tokenizer 的 BPB 改进
热点事件持续更新
研究者预注册检验新 tokenizer 的 BPB 改进
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
Rylan Schaeffer 向论文作者索取新 tokenizer 相关模型的 checkpoints,并公开预注册多项预测,在权重公开前押注检验论文关于每字节比特数(BPB)改进的结论。 他预测,新 tokenizer 在下游基准的正确选项上会取得更低 BPB,但在错误选项等情况下表现不同;这意味着论文所称的 BPB 改进可能只是选择性指标效应,目前仍待模型权重到手后验证。
AI 根据报道生成 · 53 分钟前更新
最新进展10月29日 09:11
Rylan Schaeffer 预注册预测检验新 tokenizer 的 BPB 改进报道时间线
沿着报道,了解事件的不同侧面。
10月29日
- AGI HuntRylan Schaeffer 预注册预测检验新 tokenizer 的 BPB 改进
Rylan Schaeffer 向论文作者索取新 tokenizer 相关模型的 checkpoints,并公开预注册多项预测。新 tokenizer 在下游基准正确选项上预计取得更低 bpb,但在错误选项等情况下表现不同,暗示论文宣称的每字节比特数(BPB)改进可能是假象。该方法可在拿到模型权重前先行押注,以可验证方式检验论文结论。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。