跳到正文
AGI Hunt· cephaloform·· 2 小时前AI 评分27

用户吐槽模型响应变慢:16 token 对比请求要等约四分钟

用户吐槽模型响应变慢:16 token 对比请求要等四分钟

AI 导读

一名用户吐槽当前模型推理延迟严重:对比两条仅 16 token 的补全,结果约四分钟后才返回。他是在研究样本效率相关问题时发现这一情况,并认为问题比预想更深。

来源:AGI Hunt · agihunt.info