跳到正文
AGI Hunt· SonglinYang4·· 2 小时前AI 评分15

某新模型架构研究:采用 value norm 且无 RMS gamma

结构研究者讨论新架构亮点:value norm 且无 RMS gamma

AI 导读

ML 架构研究者 Songlin Yang 与他人讨论某新模型的架构设计,指出其 value norm 设计有趣,且未采用 RMS gamma。该讨论属于对模型内部实现的技术观察,公开细节有限,未提供 benchmark 分数、参数规模或可用性信息。

来源:AGI Hunt · agihunt.info