Together 团队分析 agent 优化推理的保真度与吞吐量两难

Together 团队发现现有 agent 性能优化系统面临保真度与吞吐量的反馈权衡：低保真高吞吐系统因现代模型性能高度依赖数据而失真，随机数据上调优的 top-k kernel 到真实流量上从 16µs 恶化到 62ms，256 query tokens 时随机数据激活的 MoE 专家约 260 个、多于真实流量的 215 个。