跳到正文

技术方向

部署工程 最新动态

怎么把模型跑得更快更省钱:推理加速、显存与成本、服务部署与基础设施选型。

103 条精选近 30 天 95 条共收录 1,894 条

更新

精选归档 · 第 6 页

7月31日周五第 101–103 条
  1. Hugging Face:deepseek-ai 新模型73

    深度求索发布 DeepSeek-V4-Flash-0731 正式版

    深度求索正式发布 DeepSeek-V4-Flash-0731,取代此前预览版,并强化 Agent 能力,模型结构与 DeepSeek-V4-Flash-DSpark 相同,附带 DSpark 推测解码模块。

    推荐理由:该发布提供模型结构、推理档位、编码方式及 vLLM、SGLang 部署配置,便于开发者评估并部署 Agent 工作流。

6月16日周二
  1. Hugging Face:zai-org 新模型78

    智谱发布 GLM-5.2 开源模型,支持 1M-token 上下文

    智谱发布 GLM-5.2 旗舰模型,主打长程任务,提供稳定的 1M-token 上下文,并增强编码能力和多档思考强度。模型采用 MIT 开源许可证,支持 SGLang、vLLM、Transformers、KTransformers 和 Unsloth 等框架部署,官方还公布了 HLE、AIME 2026、SWE-bench Pro、MCP-Atlas 等基准成绩。

    推荐理由:GLM-5.2 将长程任务、1M-token 上下文和灵活思考强度结合,并提供多项基准与本地部署方案,便于评估其实际能力边界。

2025年11月4日周二
  1. Hugging Face:moonshotai 新模型79

    Moonshot AI 发布 Kimi-K2-Thinking 开源思考模型

    Moonshot AI 发布开源思考模型 Kimi-K2-Thinking,支持逐步推理、动态工具调用和 256K 上下文窗口。模型采用 MoE 架构,总参数量 1T、每 token 激活 32B 参数,可在连续 200–300 次工具调用中保持目标导向,并通过后训练量化感知训练实现原生 INT4 推理与约 2x 生成加速。

    推荐理由:Kimi-K2-Thinking把长链推理、工具编排与原生INT4部署放在同一模型中,并提供完整评测与调用示例。