AGI Hunt· jfinkpottery·· 3 小时前AI 评分42
3 块二手 V100 跑出近 400 token/s,自研 sFNX 引擎回应质疑
3 块二手 V100 跑出近 400 token/s,自研引擎 sFNX 回应质疑
AI 导读
自研 sFNX 引擎用 3 块二手 V100 跑出近 400 token/s,并以 MTP 解释不同提示词场景下的速度差异。运行 flash-next Q4XL 量化模型时,“编辑这个 Python 文件”场景实测 376 token/s,最快见过 404 token/s;散文推理约 140 token/s,约为同类硬件上其他引擎的两倍。
来源:AGI Hunt · agihunt.info