Hugging Face 政策主管:嵌入式 AI 评估器并非易解方案
Hugging Face 政策主管 Irene Solaiman 表示,嵌入式 AI 评估器不会成为解决模型评测难题的简单方案。她指出,当前评测的可复现性、跨测试比较和行业标准化仍不足,开放权重有助于复现结果。随着评测从模型扩展到 harness 与智能体,相关评测成本高昂且仍在发展。
Hugging Face 政策主管 Irene Solaiman 表示,嵌入式 AI 评估器不会成为解决模型评测难题的简单方案。她指出,当前评测的可复现性、跨测试比较和行业标准化仍不足,开放权重有助于复现结果。随着评测从模型扩展到 harness 与智能体,相关评测成本高昂且仍在发展。
Ethan Mollick 以新书《Co-Existence》发布为节点,用图表复盘自《Co-Intelligence》出版以来 AI 的进展。已有 180 个模型超过 GPT-4 发布时的水平,其中 19 个可在现代智能手机运行;METR 测得 AI 可完成的人类工作时长从 4 分钟增至 17 小时,GPQA 获得正确答案的模型使用成本则从 30 美分降至 0.04 美分。
Meta凭开放权重模型Muse Spark Open重新进入美国开放模型前沿,并与闭源模型Muse Wonder、Muse Wonder Full形成开放与闭源并行的布局。
推荐理由:文章结合性能、许可证与模型格局,分析Meta凭开放和闭源模型重新参与前沿竞争的条件。
阿里国际站总裁张阔在访谈中表示,模型通用评测成绩接近满分,但真实经营中的能力提升并不明显。团队整理了报价比较、钓鱼邮件识别、订船和交易纠纷等107个任务,最前沿模型在无人干预下的通过率约为61%。访谈还讨论了Accio Work的任务边界、模型与工程联合优化,以及人类在经营判断中的角色。
《硅谷101》邀请 Scale AI 研究总监何允中及加州大学伯克利分校博士后孙一铀,拆解大模型训练数据、评测与强化学习环境背后的产业逻辑。AfterQuery 估值从今年4月的3亿美元升至9月的32亿美元,Bespoke Labs 种子轮与A轮融资合计4000万美元。