跳到正文
AGI Hunt· yoshiyama_akira·· 7 小时前AI 评分47

Codex 搜索模型架构:27.14M 参数 Transformer 降至 11.46M,val loss 不变

让 Codex 搜索模型架构:27M 参数transformer 被砍到 11.46M 且 loss 不变

AI 导读

Codex 通过 agent 架构搜索,将 27.14M 参数的 Transformer 降至 11.46M,在 alpaca 数据集训练 5k 步后 val loss 与 baseline 持平。优化架构通过共享并循环复用 FFN 与 Attn 权重,减少约 58% 参数,同时保留限定编辑空间与训练反馈的架构搜索方法。

来源:AGI Hunt · agihunt.info