Kimi新架构被指采用注意力残差
热点事件持续更新
Kimi新架构被指采用注意力残差
3 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
研究人员称，Kimi新架构采用attnres（注意力残差）设计，并将Q/K/V注意力残差拆分评价为巧妙、值得关注；相关架构细节尚未获Kimi官方确认。 研究者的讨论还提到，该设计在Q/K归一化中保留可学习的RMS gamma缩放参数，而V归一化不带gamma。现有信息来自研究人员的引用讨论，Kimi官方尚未披露完整架构，因此上述具体设计仍不能视为官方定论。
AI 根据报道生成 · 1 小时前更新
最新进展11月13日 05:27
注意力训练细节点评：Q/K norm 带 gamma、V norm 不带，q/k/v 残差拆分引关注报道时间线
沿着报道，了解事件的不同侧面。
11月13日
- AGI Hunt注意力训练细节点评：Q/K norm 带 gamma、V norm 不带，q/k/v 残差拆分引关注
stochasticchasm 点评选某模型训练配置，指出 Q/K norm 采用可学习 gamma 系数，而 V norm 不采用，并称赞 q/k/v 注意力残差的拆分设计十分巧妙。该不对称设计引发 AI 圈内对训练架构细节的关注。
- AGI HuntQK-Norm 带 gamma、V-Norm 不带 gamma 的不对称架构设计引发讨论
研究者围绕 SonglinYang4 分享的架构细节展开讨论，该设计对 Q/K 归一化保留可学习的 RMS gamma，而 V 归一化不带 gamma。讨论者认为，这种不对称设计结合 Q/K/V attention residual 拆分，是值得关注的 Transformer 架构选择。
- AGI HuntKimi 新架构采用 attnres，获研究员“品味最佳”评价
研究人员讨论指出，Kimi 新架构采用 attnres（attention residual）设计，并以“品味最佳”评价这一架构选择。该信息来自研究人员的引用讨论，属于零散但可信的一手信号，相关架构细节尚未由官方披露。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。