跳到正文
热点事件持续更新

Snap 1.2顺序不变性实测结果

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

AWS解决方案架构师Sagar Dubey独立测试显示,在覆盖9个模型、600道合成决策题和12个任务族的实验中,Snap v1.2的答案不随选项顺序改变,准确率在各测试顺序下均为99.17%。 测试包含每题2至6个选项,三轮轮换试验及11040种全排列中,Snap v1.2均未出现答案变化或概率漂移;其他对照模型在更广试验中有2.17%至33.83%的题目因选项顺序变化而改变答案。该结果限于此次合成决策题评测。

AI 根据报道生成 · 47 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月20日
  1. AGI Hunt
    AWS 架构师独立实测:Snap v1.2 是唯一选项顺序不变模型

    AWS 解决方案架构师 Sagar Dubey 独立测试决策模型 Snap v1.2,评估其在 9 个模型、600 道合成决策题和 12 个任务族中的选项顺序不变性。Snap v1.2 在三轮轮换试验及 11040 种全排列中均无答案变化和概率漂移,准确率保持 99.17%;其他模型在更广试验中有 2.17%-33.83% 的答案随顺序改变。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。