跳到正文
AGI Hunt· nukebuddy·· 49 分钟前AI 评分62

Vercel 报告称决策模型承担 26% 网关请求,仅占 0.53% 支出

Vercel 报告:决策模型承担 26% 网关请求,仅花 0.53% 的钱

AI 导读

Vercel 的 11 月 AI Gateway 生产指数报告称,10 月决策类模型承担了 26% 的网关请求量,但仅占 0.53% 的支出。其单请求平均成本约为语言模型的 1/70,约 1/3 的付费团队使用过决策模型,月处理超 100 亿 token 的大团队中这一比例达到 7/10。报告建议将决策与内容生成分开处理,但数据仅覆盖 Vercel 网关流量,且缺少具体工作负载的独立准确率对比。

来源:AGI Hunt · agihunt.info