跳到正文
AGI Hunt· danbri·· 40 分钟前AI 评分37

初始权重训练后仍可读:模型权重中的笑脸 survive 全程训练

初始权重训练后依然可读:画进模型的笑脸 survive 全程训练

AI 导读

willdepue 的实验显示,模型训练虽会大幅调整大多数初始权重,但仍保留部分权重及其与初始值的相关性。训练前画在一层权重中的笑脸图案,经过 SGD 训练至 97.6% 准确率后依然清晰可见,说明初始权重仍可从训练完成的模型中读出。

来源:AGI Hunt · agihunt.info