跳到正文
AGI Hunt· prateekj·· 4 小时前AI 评分41

异构推理编排分析:整条轨迹或成统一计算单元

异构推理编排日益复杂:整条轨迹或成计算单元

AI 导读

异构模型协同推理日益复杂,可将整条运行轨迹(trajectory)作为统一计算单元进行调度。调度重点涵盖视觉、视频、3D、物理与推理模型协作中的中间状态、数据搬运、重试、延迟及成本管理。

来源:AGI Hunt · agihunt.info