AGI Hunt· burny_tech·· 2 小时前AI 评分44
Koi 论文:自校准规划器提升异构推理集群 goodput 18%、节省 20% 成本
Koi 论文:自校准规划器提升异构推理集群 goodput 18%、省 20% 成本
AI 导读
Koi 论文提出面向异构 LLM 推理集群的自校准规划器,在真实集群上将 goodput 提升至最强基线的 1.18 倍,并使 $/token 降低 20%。规划器覆盖约 140 个部署变量,由 RLM 生成部署假设,确定性组件负责预测、打分与控制放置。
来源:AGI Hunt · agihunt.info