廉价模型运行智能体成本可能更高
热点事件持续更新
廉价模型运行智能体成本可能更高
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
AGI Hunt 称,在智能体框架中,便宜模型的总体运行成本往往高于前沿模型。原因不是单次调用价格,而是任务完成方式不同:经强化学习训练并加入简洁性惩罚的前沿模型会激进地并行调用工具,将多个步骤合并处理;能力较弱的模型通常只能串行执行,几十次循环后不断增加模型与工具之间的往返,并持续撑大上下文窗口。 因此,模型选型除比较单次 token 智能水平,还需纳入工具调用能否并行、多个步骤能否折叠为更少往返等因素。该结论来自 AGI Hunt 对运行机制的分析。
AI 根据报道生成 · 55 分钟前更新
最新进展10月27日 04:08
便宜模型跑 Agent 反而更贵:线性往返堆爆上下文窗口报道时间线
沿着报道,了解事件的不同侧面。
10月27日
- AGI Hunt便宜模型跑 Agent 反而更贵:线性往返堆爆上下文窗口
在 agent 框架中运行便宜模型,总成本常高于前沿模型。原因在于,经 RL 后训练并带有简洁性惩罚的前沿模型会激进地并行调用工具,把多个步骤合并处理;较弱的模型只能串行执行,每一步都增加一轮往返,几十次循环后不断撑大上下文窗口。因此选模型时,除单 token 智能水平外,还要计入把多轮折叠成一轮的能力。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。