Snap 1.2顺序不变性实测结果
热点事件持续更新
Snap 1.2顺序不变性实测结果
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
AWS解决方案架构师Sagar Dubey独立测试显示,在覆盖9个模型、600道合成决策题和12个任务族的实验中,Snap v1.2的答案不随选项顺序改变,准确率在各测试顺序下均为99.17%。 测试包含每题2至6个选项,三轮轮换试验及11040种全排列中,Snap v1.2均未出现答案变化或概率漂移;其他对照模型在更广试验中有2.17%至33.83%的题目因选项顺序变化而改变答案。该结果限于此次合成决策题评测。
AI 根据报道生成 · 47 分钟前更新
最新进展11月20日 02:19
AWS 架构师独立实测:Snap v1.2 是唯一选项顺序不变模型报道时间线
沿着报道,了解事件的不同侧面。
11月20日
- AGI HuntAWS 架构师独立实测:Snap v1.2 是唯一选项顺序不变模型
AWS 解决方案架构师 Sagar Dubey 独立测试决策模型 Snap v1.2,评估其在 9 个模型、600 道合成决策题和 12 个任务族中的选项顺序不变性。Snap v1.2 在三轮轮换试验及 11040 种全排列中均无答案变化和概率漂移,准确率保持 99.17%;其他模型在更广试验中有 2.17%-33.83% 的答案随顺序改变。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。