跳到正文
AGI Hunt· teortaxesTex·· 3 小时前AI 评分29

模型融合增益或源于“伪装的投票”:权重平均反而失效

模型融合增益或源于「伪装的投票」:权重平均反而失效

AI 导读

模型融合的增益可能并非来自单个模型质量提升,而是大量噪声副本模型之间的“投票”集成机制。对副本进行权重平均会损失大部分融合收益,说明模型融合更接近集成投票,而非提升基座模型自身能力。

来源:AGI Hunt · agihunt.info