跳到正文
AGI Hunt· Acceptable_Bell_1791·· 1 小时前AI 评分37

4x V100 实测:1Cat 凭专家缓存解码 140 tok/s,碾压 Strata 的 75 tok/s

4x V100 实测:1Cat 凭专家缓存解码 140 tok/s,碾压 Strata 的 75

AI 导读

Reddit 用户在 4x 16GB Tesla V100 上实测:1Cat 借专家缓存以 125-143 tok/s 单流解码,领先 Strata 及其分叉的 75-79 tok/s。模型为 Qwen3.8-Flash-Next UD-IQ3XXS 量化版;103K prompt 连跑三次,1Cat 从 99.9 升至 138.4 tok/s。

来源:AGI Hunt · agihunt.info