开发者开源 promptcheckup 配对式 prompt 评测工具

开发者 gael55x 开源 promptcheckup，通过同一批输入配对比较新旧 prompt，并给出更好、更差或不确定及 95% 置信区间。该工具可接入 CI，以退出码 0、1、2 表示对应结果，支持自定义评分或 LLM judge。其零依赖实现使用纯 Python 标准库，仓库提供无需 API key 的 demo，但作者指出小幅改进需要大量测试用例，且无法修复有偏样本。