AGI Hunt· lateinteraction·· 2 小时前AI 评分42
用推理模型蒸馏小检索器:Kimi-K3 排序反馈让检索权重持续增强
用推理模型蒸馏小检索器:Kimi-K3 排序反馈让检索权重越用越强
AI 导读
lateinteraction 转推 dianetc 的自改进检索流程,用仅 400M 参数的 Ettin cross-encoder 对全量文档打分并保留 top 100,再由推理模型 Kimi-K3 进行 listwise 排序。排序结果转化为 pairwise 偏好,通过梯度更新检索器并再次检索,持久化权重可让当前推理算力沉淀为后续检索质量提升。
来源:AGI Hunt · agihunt.info