AGI Hunt· bittingthembits·· 2 小时前AI 评分69
Chutes 发布 Parallax 单卡推理方案，吞吐接近 18000 tokens/秒
单张 RTX 5090 跑出近 18000 tokens/秒,成本约 1 美分/百万 tokens
AI 导读
Chutes 发布 Parallax 推理方案，在约 2000 美元的 RTX 5090 上以 vLLM fork 同时服务 256 个请求，总吞吐接近 18000 tokens/秒。
来源：AGI Hunt · agihunt.info