sFNX公开三卡V100本地推理成绩

开发者jfinkpottery公布自研sFNX引擎的性能测试与配置：在3块32GB二手V100和一台老旧Dell R740上运行flash-next Q4XL量化模型，“编辑Python文件”场景实测376 token/s，最快达到404 token/s，散文推理则约140 token/s。 此前其接近400 token/s的说法受到质疑。jfinkpottery称，不同提示词下速度差异主要与MTP多词元预测机制有关；调优后大部分专家层可放入显存。其配置总成本包括每块约600美元的V100及约500美元的服务器，但成绩仅对应上述模型、提示词和硬件组合。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。