AGI Hunt· niloofar_mire·· 2 小时前AI 评分44
研究博客:loop 模型让 contrastive decoding 更接近序列级引导,成为 LLM 外挂
研究博客:loop 模型让 contrastive decoding 更接近序列级引导,成 LLM 外挂
AI 导读
研究博客解释 loop 模型为何能让 guidance/contrastive decoding 首次稳定生效,并成为 LLM 的推理外挂。Huginn、Ouro 等模型反复应用同一层块,使不同循环深度的预测更相似,从而放大早期与最终 logits 之间的 token 分数变化,在相同参数量下取得更显著的 contrastive decoding 式增益。
来源:AGI Hunt · agihunt.info