跳到正文
热点事件持续更新

Together揭示Agent优化的保真度权衡

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

Together团队称,现有Agent性能优化系统存在保真度与吞吐量的权衡:用随机数据调优、追求高吞吐的方案,在真实流量上可能出现明显性能失真。其top-k kernel延迟从随机数据环境下的16微秒恶化至真实流量下的62毫秒;在256个查询词元的测试中,随机数据激活的MoE专家约260个,而真实流量为215个。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月5日
  1. AGI Hunt
    Together 团队分析 agent 优化推理的保真度与吞吐量两难

    Together 团队发现现有 agent 性能优化系统面临保真度与吞吐量的反馈权衡:低保真高吞吐系统因现代模型性能高度依赖数据而失真,随机数据上调优的 top-k kernel 到真实流量上从 16µs 恶化到 62ms,256 query tokens 时随机数据激活的 MoE 专家约 260 个、多于真实流量的 215 个。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。