RunAnywhereAI开源TrnRT推理引擎

RunAnywhereAI团队编写并开源了面向AWS Trainium的TrnRT推理引擎；其称，在单台Trainium2服务器（TRN2.48XLARGE）运行智谱320B参数的GLM-5.3-Flash时，可达357万token/分钟，decode step由32.2毫秒降至24.2毫秒。 该团队表示，因AWS Trainium对最新开源模型缺乏支持，他们自行开发megakernel。性能数据来自SemiAnalysis AgentX的真实编程智能体流量测试，测试结果反映的是上述单台Trainium2服务器与指定模型组合。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。