跳到正文
AGI Hunt· togethercompute·· 3 小时前AI 评分52

Together Compiler(TKCC)研究发布,agent 驱动推理优化刷新吞吐纪录

Together 发布 Compiler:agent 驱动推理优化刷新吞吐纪录

AI 导读

Together AI 研究团队发布 Together Compiler(TKCC),以 agent 驱动持续编译应对模型架构与流量形态快速变化的推理负载。TKCC 在所有测试场景刷新并发 1 TPS 的最新纪录,实验效率较此前提升 252 倍,MiniMax M3.1 达到 1111 TPS;探索过程最多使用 2 个节点,并在 24 小时内完成交付。

来源:AGI Hunt · agihunt.info