Together发布智能体推理优化系统TKCC

Together AI研究团队发布Together Compiler（TKCC），以智能体持续编译优化多态推理负载；团队称，基于当前最优InferenceX配置，该系统在全部测试场景刷新并发1 TPS（每用户P90吞吐）纪录，实验效率较此前提升252倍，MiniMax M3.1达到1111 TPS。 TKCC先通过并行成本模型筛选配置，再由最多2个节点在24小时内探索并交付峰值性能。系统采用可热重载候选前向传播、无需重启引擎的分层持久架构，并提供权衡吞吐量与保真度的机制。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。