跳到正文
AGI Hunt· osanseviero·· 1 小时前AI 评分45

Hugging Face 推理服务今晨更新,TTFT 提速 1.5 倍

AI 导读

Hugging Face 的 Omar Sanseviero 宣布为 carbon 部署上线缓存等推理服务优化,AGY 的 TTFT(首 token 时间)自当日起提速 1.5 倍。团队还在改进 token 与工具调用效率以及 harness,目标是让未来的模型实现更高的“每秒智能”。

来源:AGI Hunt · agihunt.info