Reddit 想法：用 128 路并发的 2000 tok/s 实现“群体讨论”式推理

Reddit 用户提出用多个并发请求模拟“群体讨论”式推理，让同一模型生成多份可交互回答，再由汇总与审查 AI 智能体收敛结论。其单请求速度为 88 tok/s，128 路并发时聚合吞吐量可达 2000 tok/s。该思路可基于 vLLM 实现，作者正征询是否有人进行过类似实验。