Mammoth-1决策实测平均分80.9%
热点事件持续更新
Mammoth-1决策实测平均分80.9%
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
作者 pournasserian 公开了一套涵盖6个公开数据集、6,662次决策的实测结果，并同步公开原始调用、报告和评测 harness；参与比较的包括4个决策模型和5个小语言模型。测试显示，Mammoth-1平均分为80.9%，比最强的小语言模型高约3个百分点，在 Banking77 上达到93.0%。 Mammoth-1并非所有任务均领先，在提示注入测试中仅得84.3%，低于 Qwen3.6 和 Gemma 4 的92.9%。作者还说明，Laya 无法运行包含77个选项的任务，并承认小样本及模型版本对比会影响结论。
AI 根据报道生成 · 2 小时前更新
最新进展11月6日 07:08
6,662 次决策实测：Mammoth-1 均分 80.9%，反超最强小 LLM 约 3 分报道时间线
沿着报道，了解事件的不同侧面。
11月6日
- AGI Hunt6,662 次决策实测：Mammoth-1 均分 80.9%，反超最强小 LLM 约 3 分
Mammoth-1 在 6 个公开数据集的 6,662 次决策实测中取得 80.9% 平均分，较最强小 LLM 高约 3 个百分点。其在 Banking77 达 93.0%，但在 prompt injection 任务仅得 84.3%，落后 Qwen3.6 和 Gemma 4 的 92.9%。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。