跳到正文
热点事件持续更新

Amos 1 large 决策评测领先 Sarvam Prism

2 篇报道1 个报道来源20 分钟前更新

先了解这件事

AI 综述

Zaid Mukaddam 使用同一测试框架对比其自研的 Amos 1 large(27B 稠密模型)与 Sarvam Prism(105B 混合专家模型),结果显示前者两项决策评测得分更高:Decision Bench 文本项为 94.9%,对 92.5%;类型化决策 zero-shot 为 75.9%,对 70.0%。 Mukaddam 认为,105B 参数规模对这类任务可能过重,30B 级模型已可能足够。该结论来自其公开的对比评测,仅对应上述两个测试项。

AI 根据报道生成 · 2 小时前更新

事件进展

2 个进展

  1. 11月4日 04:33 · 1 篇报道
    Atlan 公布 Sarvam-Prism 评测结果
    AGI Hunt:Sarvam-Prism 评测:1071 项决策准确率 91.5%,单张 B200 每决策 65ms
  2. 11月4日 02:11 · 1 篇报道
    Amos 1 large 对比 Sarvam Prism 评测领先
    AGI Hunt:Amos 1 large(27B dense)Decision Bench 领先 Sarvam Prism(105B MoE)2.4 个百分点

报道时间线

沿着报道,了解事件的不同侧面。

11月4日
  1. AGI Hunt
    Sarvam-Prism 评测:1071 项决策准确率 91.5%,单张 B200 每决策 65ms

    Atlan 用自建 Decision Bench 评测 Sarvam-Prism,覆盖 1071 个真实决策和 36 个数据集,文本行准确率为 91.5%,排名为第 12。其结果与 Claude Sonnet、Kev 27B 持平,落后于 Amos、plexity Decider 和 Drex Max;单张 B200 每个决策约 65ms。

  2. AGI Hunt
    Amos 1 large(27B dense)Decision Bench 领先 Sarvam Prism(105B MoE)2.4 个百分点

    Amos 1 large(27B dense)在 Decision Bench 对比中领先 Sarvam Prism(105B MoE),文本项得分为 94.9% vs 92.5%,领先 2.4 个百分点。类型化决策 zero-shot 得分为 75.9% vs 70.0%,评论者认为 105B 参数对这类任务可能过重,30B 级模型或已足够。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。