PAIR 开源支持自有数据模型评测

aditabrm 开源 PAIR 评测工具，使开发者能够使用自有数据构建模型评测，并比较不同厂商模型的表现。其设计目标是支持跨厂商的公平比较，以及评测结果在不同数据集间的泛化。 aditabrm 称，该工具旨在回应模型厂商自行选择 benchmark 并据此宣称排名第一的问题；目前其宣称的实际效果仍需由使用者和评测结果验证。

AI 根据报道生成 · 27 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。