跳到正文

技术方向

部署工程 最新动态

怎么把模型跑得更快更省钱:推理加速、显存与成本、服务部署与基础设施选型。

41 条精选近 30 天 34 条共收录 395 条

更新

精选归档 · 第 3 页

2025年11月4日周二第 41–41 条
  1. Hugging Face:moonshotai 新模型79

    Moonshot AI 发布 Kimi-K2-Thinking 开源思考模型

    Moonshot AI 发布开源思考模型 Kimi-K2-Thinking,支持逐步推理、动态工具调用和 256K 上下文窗口。模型采用 MoE 架构,总参数量 1T、每 token 激活 32B 参数,可在连续 200–300 次工具调用中保持目标导向,并通过后训练量化感知训练实现原生 INT4 推理与约 2x 生成加速。

    推荐理由:Kimi-K2-Thinking把长链推理、工具编排与原生INT4部署放在同一模型中,并提供完整评测与调用示例。