跳到正文
热点事件持续更新

Baseten Model API支持延迟工具加载

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

Baseten宣布Model API正式支持DeepSeek、Kimi和GLM的延迟工具加载(deferred tool loading),通过延迟加载工具定义减少发送给模型的prompt内容,目前已在三大开源模型上开箱可用。 Baseten称,在相同模型与harness的编码基准中,采用该功能后,智能体运行成本最多降低62%,速度提升26%;这一效果数据适用于其测试条件。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月20日
  1. AGI Hunt
    Baseten Model API 上线 DeepSeek、Kimi、GLM 延迟工具加载

    Baseten Model API 正式支持 DeepSeek、Kimi、GLM 的 deferred tool loading,通过延迟加载工具定义来缩减 prompt 体积。在相同模型与 harness 的编码基准中,智能体运行成本最多降低 62%,速度提升 26%,该功能已在 Model API 上开箱可用。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。