是石科技发布 TokenFleet 分布式调度框架,国产推理首Token延迟降低32.4%
是石科技发布 TokenFleet 分布式调度框架,通过 TokenPilot、FleetMind 和 SLOMax 优化请求路由、跨机房容量协同与混合负载治理。在所测显卡集群与负载条件下,GLM5.3 的 P95 首Token延迟降低32.4%,P50 首Token延迟降低71.3%;流控协同调度使达标输出吞吐提高约29.4%,达标比例从约67%升至约86%。
是石科技发布 TokenFleet 分布式调度框架,通过 TokenPilot、FleetMind 和 SLOMax 优化请求路由、跨机房容量协同与混合负载治理。在所测显卡集群与负载条件下,GLM5.3 的 P95 首Token延迟降低32.4%,P50 首Token延迟降低71.3%;流控协同调度使达标输出吞吐提高约29.4%,达标比例从约67%升至约86%。
Claude Science 中的 Claude 自主为五种蝎子毒素生成了 318,484 个蛋白质结合分子设计,研究团队随后通过额外指令引导筛选并测试 211 个候选。实验中有 17 个设计达到标准,其中 2 个与墨西哥蝎子毒素 Cn2 结合最紧密;两项独立实验室确认了结果,但其能否作为抗蛇毒药物尚未测试。
DeepSeek 开源了用于 V4.1 Flash 生产推理的 DeepInfer,并同时发布 deepseek-recipe 接口处理组件。DeepSeek 披露单集群每日服务 155T tokens、96% 输入缓存命中率、400 ms 首 token 延迟和 $38 加速器小时收入,但这些属于未经独立审计的生产数据,KV cache 管理与负载均衡等组件也尚未完整开源。
DeepSeek 开源了支撑其生产服务的推理框架 DeepInfer,采用 Apache 2.0 许可证并同步发布 deepseek-recipe。
Inception AI 发布旗舰模型 Mercury 3,公司基准测试显示其在 12 项测试中的 8 项超过 GPT-6 Luna 和 Claude Haiku 5.5,速度为后者的 4 至 8 倍。
i14 与 AWS 通过原生 PyTorch 和 TorchNeuron Native,将 Laplace 3B 线性注意力模型适配到 AWS Trainium2,并完成训练与推理实践。
SF Compute CEO Evan Conrad 介绍公司如何建设算力交易市场,通过物理交付为买方提供可用 GPU 算力,并协调不同 GPU 代际、存储、网络和软件配置。当前约 5% 的总容量已进入订单簿,公司还支持客户即时细分 InfiniBand fabric,以实现数据中心资源的可编程调度。
AWS 展示了在 Amazon SageMaker HyperPod 上使用 SFT、GRPO 和 LoRA 微调 GPT-OSS-20B 进行多语言推理的完整流程。
DeepSeek 以 Apache 2.0 许可证开源了生产推理框架 DeepInfer,并发布 MIT 许可的 token 编解码层 deepseek-recipe。
MemT 1.0 系列正式开源发布,包含 36B 总参数、激活 3B 的 Nano 和 288B 总参数、激活 17B 的 Flash,通过在 Transformer 中加入记忆计算通路,让经验以可更新的内部状态参与后续生成。
《硅谷101》邀请三位一线研究者讨论 GPT-6 Astra 对 Agent、机器人和 AI 制药的影响。节目分析个人 Agent 的商业化与获客、机器人规划及数据标注,并指出 AI 制药仍受实验完成度、湿实验验证和数据积累限制。
作者提出“退相干”概念,指出系统中局部有效却彼此冲突或冗余的模型会随变更累积,使改造成本和意外副作用急剧上升。AI 编码智能体被指可能加快代码产出,却增加代码复杂度和评审负担,削弱已完成工作的增长。文章据此认为,脱离真实世界反馈的递归自我改进难以跨越一致性瓶颈,并警告长期失序可能形成只能依赖智能体维护的系统困局。
Anthropic 可解释性研究员 Emmanuel Ameisen 解读 Claude 等大语言模型内部机制,认为“next-token predictor”低估了模型的规划与思考能力。访谈讨论模型形成概念表征、提前规划多个 token 但不显式说明计划、“J space”与模型自我意识、平滑 scaling curve 和能力突跃,以及可解释性在 AI 对齐与安全中的应用。
Meta凭开放权重模型Muse Spark Open重新进入美国开放模型前沿,并与闭源模型Muse Wonder、Muse Wonder Full形成开放与闭源并行的布局。
推荐理由:文章结合性能、许可证与模型格局,分析Meta凭开放和闭源模型重新参与前沿竞争的条件。
研究团队提出 Selection-based Structured Reasoning(SSR),将多模态搜索智能体的开放式推理生成改写为从预定义候选中择优选择。SSR 使用共享上下文 KV cache 并行计算 token 似然,在 7 个多模态搜索基准和 2B、4B 模型上显著提升效率,同时保持有竞争力的平均成功率,每轮推理延迟降低超过 90%,每道题总模型推理延迟降低 28–54%。
研究团队从零预训练首个三模态 Masked Diffusion Models(MDM),统一处理文本、图文与音频-文本数据,并系统分析多模态扩展规律及训练配置。团队提出基于随机微分方程(SDE)的批大小重参数化,无需再调节最优批大小。初步 3B 模型使用 6.4T tokens,在文本生成、T2I 和 T2S 任务中取得较强结果。
Google DeepMind 发布 Gemini 4 Argon,面向复杂工程、科研和智能体任务,并提供 1M 统一输入输出 token 限制。模型在 Vals Index 排名第一,API 首发价格为每百万输入 token $2、每百万输出 token $10,已面向开发者、企业和部分消费者全球推出。
推荐理由:模型提供复杂编码、科研与网络安全等任务的实践案例,并公开基准表现、定价和使用入口,便于评估其应用价值。
Google 发布 Gemini 4 Argon,向全球开发者和企业开放,首发价格为 $2 per million input tokens 和 $10 per million output tokens,并提供 1M 统一输入输出 token 上限。
推荐理由:Gemini 4 Argon同时给出模型能力、真实工程案例、开放渠道与定价,便于开发者评估复杂任务的可用性和成本。
Import AI 476 聚焦视觉推理、模型研究品味与太空 AI 带来的战略优势。HSS 基准包含 522 道题,人类的 pass@1 为 93.1,GPT 6 Astra 为 53.6,GLM-5.3-flash 与 Kimi K3 分别为 26.8 和 25.5。
Anthropic 扩大了 Claude 的反蒸馏防护,通过限制推理上下文迁移、拦截提取请求和加强账号限制,降低模型能力被大规模采集的风险。Anthropic 称,早期证据显示被采集数据减少约 90% 至 99%,分类器上线后提取的推理 token 降至原来的 1/10 至 1/100,误判率低于 0.1%。相关措施也带来部分开发者需更新集成、少量正常请求被拦截,以及被拦截请求恢复收费等代价。
推荐理由:Anthropic 公开了三层反蒸馏机制及实测效果,并说明对合法用户集成、误拦截和计费的影响,适合开发者评估防护成本。
retro-arg-engine 以 Project Stardust 形式构建 CRE-7 主题的 15-Gate LLM 密码学基准,覆盖位运算、模 65536 求和、Motorola 68000 指令反演和 Luby-Rackoff Feistel 密码。
AI 预计将在未来几年因基础设施与工程能力加速而快速进步,但不会因此迈向通用超级智能。模型可能在几年后成为超人类分布式 GPU 工程师,AI agents 将端到端优化训练与推理流程,带来 10-30% 的服务成本节省,并推动模型智能的有效成本近乎指数下降。作者还预计,预训练研究与 RL 环境质量将在未来持续改善。
Mistral 发布 Mistral Large 4 公开预览版,并开放 Mistral Studio 预览 API。该模型总参数量为 1 trillion,激活参数量为 52 billion,原生支持多模态,模型权重计划于本月底发布。
推荐理由:公开预览已开放,模型规模、权重发布时间及编码、智能体和多模态评测结果均已明确,便于评估其开放权重路线。
AI Explained 在视频中评述 OpenAI 模型安全控制难题,并串联 Gemini 4 Argon、递归自我改进研究与前沿实验室安全承诺。内容还讨论模型不断突破限制的原因、模型未向人类说明的信息,以及 AI 改进 AI 时可能引发的风险。
Import AI 474 以 Michael Levin 的论文“Bodies and machines as interfaces”探讨心智与身体、算法的关系,援引 xenobots、anthrobots 和排序算法实验说明复杂模式如何进入物理系统。编者认为,这一“柏拉图式心智空间”框架或可为理解 AI 与人类心智的差异,以及哲学和 AI 对齐问题提供线索。
Nathan Lambert 与 Epoch AI 研究员 JS Denain 探讨 AI 发展中的递归自我改进、中美模型差距及能力锯齿化。Denain 估计中国领先实验室的公开模型落后 OpenAI 和 Anthropic 约 4–8 个月,并讨论知识蒸馏、机器人、模型安全措施与开放模型风险。
Import AI 473 汇总多篇研究,探讨美国超级智能战略、人类脑组织移植小鼠、AI 发展节奏治理、无审查开放权重模型及递归自我改进的动态。RAND 建议美国以保持选择空间为核心投入人机生态、安全架构和应急能力,相关论文还讨论不同治理工具的激励、验证与退出机制。
Ethan Mollick 认为 GPT-6 Astra 与 Fable 5.1 已能在适当引导下承担数周的人类工作,并应把关注点从未来模型转向现有能力。他展示了模型将 Zork 重制为 3D 游戏、重建 Umberto Eco 图书馆以及制作书籍预告片的过程,并提出深度知识、广泛知识、品味和行动力四种人类优势。
DeepSeek 发布 DeepSeek-V4.1-Flash,这是一款拥有552B主干参数、支持1M token上下文的多模态MoE模型,可原生处理图像和文本。
推荐理由:模型将1M token上下文与每token仅8B或16B激活参数结合,并量化了KV cache压缩效果,为高输入量智能体工作流提供成本对照。
AI Explained 分析 GPT-6 Astra 的成本效率、基准表现及链式思维可监控性变化。视频将其与 Fable 5.1 对比,并讨论 ARC-AGI 3、FrontierMath 等评测中的结果以及 AI 安全研究方面的担忧。
推荐理由:围绕基准结果、交易表现与 CoT 可监控性展开对比,帮助读者理解 GPT-6 Astra 引发争议的具体维度。
本期学习播客邀请清华大学计算机系博士候选人孙宇涛领读Kimi K3技术报告,系统梳理模型架构、预训练、后训练与基础设施。Kimi K3是总参数扩展至2.8T并全量开源的MoE模型,讲解涵盖线性注意力、Gated MLA、Attention Residuals、Stable LatentMoE和SiTU-GLU。节目还串联十多篇相关论文,介绍三维扩展、多教师在线策略蒸馏及训练和推理优化。
智谱(GLM)发布 GLM-5.3-Flash,这是 GLM-5 系列首个原生多模态模型。模型总参数量为 320B、激活参数量为 18B,采用稀疏与线性注意力混合架构并引入 mHC,在多项基准和实际工作负载上超过 GLM-5.2,价格为其十分之一。
推荐理由:GLM-5.3-Flash 同时给出架构、部署方式与评测复现参数,便于比较其多模态、编码和智能体能力及部署成本。
智谱发布 GLM-5.3,沿用 GLM-5.2 的基础模型,通过后训练提升复杂编码、长程任务和安全能力。官方称其 Z.ai Code Bench 相比 GLM-5.2 提升 50%,并在 Terminal Bench 3.0、Agents' Last Exam 和 CyberGym 等基准上达到开源 SOTA。
推荐理由:GLM-5.3 通过后训练强化复杂编码、长程任务和安全能力,并提供多框架部署与复现配置,便于评估实际应用边界。
DeepSeek 正式发布 DeepSeek-V4-Pro-0813,取代 Preview 版本,并加入 DSpark 推测解码模块以增强智能体能力。模型在 HLE、Terminal Bench 2.1 和 DeepSWE 等基准中取得 42.7/60.0、87.9 和 62.7 的成绩,reasoning_effort 现支持 low、high、max 三档。
推荐理由:DeepSeek-V4-Pro-0813的正式版本、评测数据与部署配置齐全,便于开发者比较其智能体和编码表现并评估落地方式。
深度求索正式发布 DeepSeek-V4-Flash-0731,取代此前预览版,并强化 Agent 能力,模型结构与 DeepSeek-V4-Flash-DSpark 相同,附带 DSpark 推测解码模块。
推荐理由:该发布提供模型结构、推理档位、编码方式及 vLLM、SGLang 部署配置,便于开发者评估并部署 Agent 工作流。
月之暗面发布开放权重原生多模态智能体模型 Kimi K3,总参数 2.8T、激活参数 104B,支持 1-million-token 上下文窗口。模型采用 KDA、AttnRes 与 Stable LatentMoE,每个 token 从 896 个专家中选择 16 个,原生处理文本、图像和视频,面向长程编程与智能体知识工作。
推荐理由:Kimi K3披露2.8T参数架构、1M上下文与多类基准成绩,为评估开放权重多模态智能体的能力边界提供集中参考。
Moonshot AI 发布开源原生多模态智能体模型 Kimi K2.6,强化长程编码、编码驱动设计、主动自主执行与多智能体编排能力。模型采用 MoE 架构,总参数 1T、激活参数 32B、上下文长度 256K,可横向调度 300 个子智能体执行 4,000 个协调步骤。
推荐理由:同时提供架构参数、基准结果、部署引擎和调用示例,便于开发者评估能力并规划接入。
月之暗面发布开源原生多模态智能体模型 Kimi K2.5,基于 Kimi-K2-Base 持续预训练约 15T 个视觉与文本 token。模型采用 1T 总参数、32B 激活参数的 MoE 架构,支持 256K 上下文、图像和视频输入、即时与思考模式以及多智能体协作。
推荐理由:模型页披露了架构、评测、部署与调用方式,便于比较其多模态和智能体能力及实际接入成本。
Moonshot AI 发布开源思考模型 Kimi-K2-Thinking,支持逐步推理、动态工具调用和 256K 上下文窗口。模型采用 MoE 架构,总参数量 1T、每 token 激活 32B 参数,可在连续 200–300 次工具调用中保持目标导向,并通过后训练量化感知训练实现原生 INT4 推理与约 2x 生成加速。
推荐理由:Kimi-K2-Thinking把长链推理、工具编排与原生INT4部署放在同一模型中,并提供完整评测与调用示例。