跳到正文
热点事件持续更新

双R9700实测显示Strata推理不及llama.cpp

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

Reddit 用户 Don_Reuter 公布在双 R9700、共 64GB 显存上对 Strata 与 llama.cpp 的实测结果,称 Strata 约 60 token/s,但运行 3-bit Flash-Next 时,HumanEval+ 得分 93.9%,低于 llama.cpp 的 Q8 版本 95.1%,生成 token 数也接近两倍。 Don_Reuter 称,Strata 将专家卸载到内存时,长任务会卡死;只有将全部专家载入显存才稳定,而 64GB 显存因此只能采用 3-bit 量化。他据此质疑 Strata 的定制推理引擎相对成熟方案的实际价值;这些结论目前来自其个人实测。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月1日
  1. AGI Hunt
    Strata 引擎实测:双 R9700 上不敌 llama.cpp,定制引擎价值受质疑

    Reddit 用户在双 R9700(共 64GB 显存)上实测 Strata 推理引擎,结果显示其表现不及 llama.cpp。Strata 约 60 t/s,但 HumanEval+ 上 3-bit Flash-Next 得分 93.9%,低于 llama.cpp 的 Q8 版 95.1%,生成 token 数近两倍;专家卸载到内存还会导致长任务卡死。作者质疑定制推理引擎社区存在炒作。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。