开发者开源配对式 Prompt 评测工具

开发者 gael55x 开源 promptcheckup，通过让新旧 prompt 运行同一批输入，配对判断新版“更好”“更差”或“不确定”，并给出 95% 置信区间。 工具可用退出码 0、1、2 表示三类结果，从而接入 CI，让更差的 prompt 直接导致构建失败；评分可自定义，也可使用会先自检的 LLM judge，不稳定时返回“不确定”。实现仅依赖 Python 标准库，仓库提供无需 API key 的 demo。作者称，小幅改进需要大量测试用例才能检出，且该工具无法修复有偏样本。

AI 根据报道生成 · 33 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。