AGI Hunt· jfinkpottery·· 2 小时前AI 评分70
sfnx 用 3 张二手 V100 32GB 让 Qwen-Flash-Next 跑到近 400 tokens/秒
3 张二手 V100 跑 Qwen 近 400 tokens/秒
AI 导读
Reddit 用户 jfinkpottery 自研推理引擎 sfnx,在配备 3 张 V100 32GB 的 Dell R740 服务器上,让 Qwen-Flash-Next 实现近 400 tokens/秒的生成速度。sfnx 从 strata 分叉而来,但引擎核心为老一代 Volta GPU 从头构建,相关代码已在 GitHub 开源。
来源:AGI Hunt · agihunt.info