跳到正文
AGI Hunt· AccBalanced·· 4 小时前AI 评分65

Red Hat 工程团队实测开源权重模型使 token 成本下降 40-70%

Red Hat 自身工程团队实测:开源权重模型将 token 成本砍 40-70%

AI 导读

Red Hat 工程团队以自身组织试点 EnMaaS,通过 Praxis 网关、llm-d 和 vLLM 让内部开发者使用开源权重模型。该试点在单个 30 天窗口处理超过 1 万亿 token,日常编码与评测流量的开源模型使用占比由 30% 升至 70%。

来源:AGI Hunt · agihunt.info