跳到正文
AGI Hunt· vasuman·· 2 小时前AI 评分52

便宜模型跑 Agent 反而更贵:线性往返堆爆上下文窗口

AI 导读

在 agent 框架中运行便宜模型,总成本常高于前沿模型。原因在于,经 RL 后训练并带有简洁性惩罚的前沿模型会激进地并行调用工具,把多个步骤合并处理;较弱的模型只能串行执行,每一步都增加一轮往返,几十次循环后不断撑大上下文窗口。因此选模型时,除单 token 智能水平外,还要计入把多轮折叠成一轮的能力。

来源:AGI Hunt · agihunt.info