AGI Hunt· yoavartzi·· 3 小时前AI 评分40
LEMON 发布:基于注意力图零样本识别未见 LLM 幻觉与越狱
LEMON 监控器:从注意力图零样本识别未见过的 LLM 幻觉与越狱
AI 导读
Technion、特拉维夫大学与 NVIDIA 研究者发布 LEMON,利用注意力图在生成过程中逐 token 在线标记幻觉与越狱,开销低于 10%。该监控器通过建模注意力头与层的位置错位,可零样本迁移至从未见过的 LLM;论文已上 arXiv,代码即将开源。
来源:AGI Hunt · agihunt.info