AGI Hunt· simran_s_arora·· 3 小时前AI 评分36
Cartridges 团队研究“Self-Study 是移动目标”,提出无标签度量优化 KV 缓存压缩
Cartridges 团队提出「Self-Study 是移动目标」:无标签度量优化 KV 缓存压缩
AI 导读
Cartridges 团队提出无需标签的质量度量,用于评估 Self-Study 生成问题的价值。研究指出,问题分布会随训练持续变化,因此需要动态判断哪些问题值得继续训练。Cartridges 通过将长文档压缩进小型训练 KV cache,探索长上下文与记忆压缩方向。
来源:AGI Hunt · agihunt.info