跳到正文
AGI Hunt· eigenron·· 7 小时前AI 评分19

“训练粒子,部署波函数”:live 权重与 EMA 权重的量子力学类比

「训练粒子,部署波函数」:live权重与EMA权重的量子力学类比

AI 导读

live 权重如同训练中的粒子,EMA 权重则是抹平过去一千步轨迹的波函数,形成“训练的是粒子,部署的是波函数”的类比。这个类比指出模型部署使用的 EMA 权重反映了长期参数的平滑结果。

来源:AGI Hunt · agihunt.info