跳到正文
AGI Hunt· yoavartzi·· 3 小时前AI 评分40

LEMON 发布:基于注意力图零样本识别未见 LLM 幻觉与越狱

LEMON 监控器:从注意力图零样本识别未见过的 LLM 幻觉与越狱

AI 导读

Technion、特拉维夫大学与 NVIDIA 研究者发布 LEMON,利用注意力图在生成过程中逐 token 在线标记幻觉与越狱,开销低于 10%。该监控器通过建模注意力头与层的位置错位,可零样本迁移至从未见过的 LLM;论文已上 arXiv,代码即将开源。

来源:AGI Hunt · agihunt.info