AGI Hunt· yoshiyama_akira·· 7 小时前AI 评分47
Codex 搜索模型架构:27.14M 参数 Transformer 降至 11.46M,val loss 不变
让 Codex 搜索模型架构:27M 参数transformer 被砍到 11.46M 且 loss 不变
AI 导读
Codex 通过 agent 架构搜索,将 27.14M 参数的 Transformer 降至 11.46M,在 alpaca 数据集训练 5k 步后 val loss 与 baseline 持平。优化架构通过共享并循环复用 FFN 与 Attn 权重,减少约 58% 参数,同时保留限定编辑空间与训练反馈的架构搜索方法。
来源:AGI Hunt · agihunt.info