论文提出大模型推理拍卖机制

1. 23:02
   AGI Hunt

   Michael Jordan 团队提出 LLM 推理拍卖机制：用户竞价获取更快服务

   Michael I. Jordan 等人在 arXiv 发布论文《Inference Auctions》，提出让用户竞价获取更快 LLM 服务的推理拍卖机制。autobidding agent 可在预算约束下动态调整出价并最大化效用；实验显示该机制提升系统福利，同时保留 SGLang 在缓存利用率和延迟方面的优势。

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。