AI 安全研究者 Ramakrishnan Lokanathan：eval 得 100 分说明评测本身有问题

AI 安全研究者 Ramakrishnan Lokanathan 在 AI Engineer 播客访谈中指出，AI 系统在 eval 中取得 100 分，往往意味着评测设计本身存在问题，而非系统能力完美。构建可靠评测应定义理想成功标准、覆盖完整工作流、持续保留回归测试，并将真实用户失败转化为新用例；他还介绍了开源项目 eSlams，通过国际象棋、围棋和德州扑克对模型进行另类推理评测。