跳到正文
AGI Hunt· helloiamleonie·· 1 小时前AI 评分50

朴素分类法的问题:LLM 训练目标是预测下一个词元而非做决策

LLM 训练目标是预测下一个词元,不是做决策——朴素分类法的问题

AI 导读

作者转发的一份分析指出,用 LLM 做朴素分类的六步方案是拼 prompt、一次前向传播、取最后位置 logits、只保留选项级词元再经 softmax 得到决策。文章认为根本问题在于 LLM 的训练目标是预测下一个 token 而非做决策,因此这种用法天生不稳定。

来源:AGI Hunt · agihunt.info