跳到正文

内容类型

评测基准 最新动态

模型到底谁更强:Benchmark 评测成绩、评测方法的争议与排行榜变化。

9 条精选近 30 天 5 条共收录 30 条

更新

评测基准的精选

10月17日周六第 1–9 条
10月15日周四
  1. Apple Machine Learning Research78

    Apple 使用 MLX 与 Thunderbolt RDMA 在 Mac Studio 上进行本地及分布式 LLM 推理

    Apple 使用 MLX v0.30.1 和 Thunderbolt 5 RDMA 在 Mac Studio 集群上运行 Muse Spark Open、Mistral Medium 3.5 与 Qwen 3.8,并比较流水线并行和张量并行方案。

    推荐理由:文章提供单机和多机推理方案、配置命令与对比数据,便于评估大模型在 Mac Studio 集群上的部署表现。

10月14日周三
  1. Google DeepMind Blog83

    Google DeepMind 开始广泛推出 Gemini 4 Argon

    Google DeepMind 开始广泛推出 Gemini 4 Argon,并扩大 Fairwind Program,向更多受信任的网络安全防御者开放。Argon 在 12 个端到端模拟网络攻击场景中全部解决,较上一代的 5 个有所提升;其 Prompt Injection 防护在 Gray Swan 的 IPI 基准中将 15 次自适应攻击的成功率降至 0.7%。

    推荐理由:文章系统介绍了 Gemini 4 Argon 的能力边界、滥用防护、实时失配监控与 Prompt Injection 防护,并公开了相关测试结果和安全机制。

  2. Google AI Blog87

    Google 发布 Gemini 4 Argon 前沿模型

    Google 发布 Gemini 4 Argon,向全球开发者和企业开放,首发价格为 $2 per million input tokens 和 $10 per million output tokens,并提供 1M 统一输入输出 token 上限。

    推荐理由:Gemini 4 Argon同时给出模型能力、真实工程案例、开放渠道与定价,便于开发者评估复杂任务的可用性和成本。

9月4日周五
  1. AI Explained80

    AI Explained 评测 GPT-6 Astra 的性能与安全争议

    AI Explained 分析 GPT-6 Astra 的成本效率、基准表现及链式思维可监控性变化。视频将其与 Fable 5.1 对比,并讨论 ARC-AGI 3、FrontierMath 等评测中的结果以及 AI 安全研究方面的担忧。

    推荐理由:围绕基准结果、交易表现与 CoT 可监控性展开对比,帮助读者理解 GPT-6 Astra 引发争议的具体维度。

8月31日周一
  1. Hugging Face:deepseek-ai 新模型73

    DeepSeek 发布 DeepSeek-V4-Flash-Vision-Exp 实验性多模态模型

    DeepSeek 发布 DeepSeek-V4-Flash-Vision-Exp,这是 DeepSeek-V4 系列首个实验性多模态模型。该模型在 ApexBench 的 Pass@1 得分由 26.2 提升至 36.5,Agents' Last Exam 得分由 25.2 提升至 27.3,文本 Agent 任务表现与 DeepSeek-V4-Flash-0731 相当。

    推荐理由:仓库提供提示词编码、最小推理实现和基准结果,并给出 vLLM、SGLang 部署方式,便于评估与复现。

8月25日周二
  1. Hugging Face:zai-org 新模型79

    GLM-5.3发布,强化复杂编码与长程智能体任务

    GLM-5.3发布,沿用GLM-5.2基础模型,主要通过后训练提升复杂编码、长程任务和网络安全能力。模型在内部Z.ai Code Bench上较GLM-5.2提升50%,在Terminal Bench 3.0和Agents' Last Exam等公开基准上达到开源SOTA,并支持SGLang、vLLM、Transformers、Unsloth等本地部署框架。

    推荐理由:文章给出GLM-5.3相对GLM-5.2的编码与网络能力增幅,并提供本地部署和评测配置,便于对照能力变化与复现条件。

  2. Anthropic News61

    Anthropic启动500万美元AI用户福祉研究资助计划

    Anthropic启动500万美元资助计划,支持独立研究AI对用户福祉的影响。项目将提供模型访问和技术支持,研究成果以开源项目形式发布,评测需覆盖预防措施与伤害风险,并纳入临床及领域专家验证。申请截止时间为9月21日,进入完整提案阶段的申请人将于10月5日获通知。

    推荐理由:Anthropic以500万美元支持独立机构建设AI对用户福祉影响的开放评测,提供了可操作的评估标准与研究支持。