AGI Hunt· jesdga95·· 3 小时前AI 评分61
开源推理引擎 Basalt 0.2.0 发布,单张 5090 达到 300 t/s
开源推理引擎 Basalt 0.2.0:单张 5090 上跑出 300 t/s 且质量超 llama.cpp Q8
AI 导读
开源推理引擎 Basalt 0.2.0 面向 Blackwell 显卡发布,针对 Qwen 3.8 Flash Next,在 5090+5060 Ti 16GB + 128GB 内存配置下实现散文约 300 t/s、结构化输出约 600 t/s,64K 上下文预填充超 10000 t/s。
来源:AGI Hunt · agihunt.info