跳到正文
AGI Hunt· burny_tech·· 2 小时前AI 评分44

Koi 论文:自校准规划器提升异构推理集群 goodput 18%、节省 20% 成本

Koi 论文:自校准规划器提升异构推理集群 goodput 18%、省 20% 成本

AI 导读

Koi 论文提出面向异构 LLM 推理集群的自校准规划器,在真实集群上将 goodput 提升至最强基线的 1.18 倍,并使 $/token 降低 20%。规划器覆盖约 140 个部署变量,由 RLM 生成部署假设,确定性组件负责预测、打分与控制放置。

来源:AGI Hunt · agihunt.info