AGI Hunt· JnBrymn·· 3 小时前AI 评分38
用 logprobs 将 LLM 从硬分类器升级为可调阈值的软分类器
用 logprobs 把 LLM 从硬分类器升级为可调阈值的软分类器
AI 导读
Arcturus Labs 博客扩展《Hands-On Large Language Models》的 LLM 文本分类方法,利用 logprobs 读取各类别概率,将硬分类器改造为可设置概率阈值的软分类器。该方法可让分类结果与训练集最优对齐,并调节精确率/召回率的权衡;作者复现原有硬分类流程后,演示了读取首 token 概率分布的做法。
来源:AGI Hunt · agihunt.info