跳到正文
AGI Hunt· burkov·· 2 小时前AI 评分38

ICL-Bandit 用多臂老虎机自动挑选示例,提升 LLM 广告相关性标注准确率

ICL-Bandit 用多臂老虎机自动挑示例,提升 LLM 广告相关性标注准确率

AI 导读

ICL-Bandit 将 prompt 中的示例选择建模为重复的多臂老虎机问题,通过比较 LLM 标签与已知专家标签,持续优化示例组合。评测使用 158 万条专家标注样本构建 demo 池,按时间切分约 1 万条训练 query–ad 对和 2000 条测试 query–ad 对。该思路也可用于其他依赖少量高质量示例进行 in-context learning 标注的场景。

来源:AGI Hunt · agihunt.info