跳到正文
AGI Hunt· nunodonato·· 3 小时前AI 评分51

TinyLeague 弃用 Artificial Analysis 指标,新增 KV cache 效率评分

TinyLeague 弃用 Artificial Analysis 指标,新增小显存友好的 KV cache 效率评分

AI 导读

TinyLeague 作者 nunodonato 宣布弃用 Artificial Analysis 评分,并新增面向本地部署的 KV cache 效率指标。新指标估算模型在 128K 上下文下的 KV cache 占用 GB 数,以 0-100% 打分,为显存吃紧的用户提供量化位数之外的选型维度。

来源:AGI Hunt · agihunt.info