Chutes 发布 Parallax 单卡推理方案

Bittensor 生态的 Chutes 团队发布 Parallax 推理方案，称其可在单张约 2000 美元的 RTX 5090 上，通过修改版 vLLM 同时服务 256 个请求，总吞吐接近 18000 tokens/秒。 Parallax 是采用 4-bit 专家层的小型 MoE 模型，每 token 计算量低于稠密 8B 模型，但其回答质量尚未评测。上述吞吐数据来自非正式基准，与 Spheron、GeneralCompute 和 AIMultiple 的测试配置并不相同，不能直接横向比较。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。