Michael Jordan 团队提出 LLM 推理拍卖机制：用户竞价获取更快服务

Michael I. Jordan 等人在 arXiv 发布论文《Inference Auctions》，提出让用户竞价获取更快 LLM 服务的推理拍卖机制。autobidding agent 可在预算约束下动态调整出价并最大化效用；实验显示该机制提升系统福利，同时保留 SGLang 在缓存利用率和延迟方面的优势。