kalomaze称Transformer架构进步多为渐进叠加
热点事件持续更新
kalomaze称Transformer架构进步多为渐进叠加
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
kalomaze 认为，一直存在优于 Transformer 的架构，但不少改进因保留 Transformer 框架而被视为“魔改 Transformer”。 他以 GPT-3 为例称，在逐项加入 RoPE、SwiGLU、GQA 等改进的基线对比中，GPT-3 的表现处于下风；由此他判断，近年架构进步更接近在既有框架上持续叠加组件，而非彻底转向另一种架构。
AI 根据报道生成 · 2 小时前更新
最新进展11月3日 14:54
kalomaze：比 Transformer 更好的架构一直存在，却被视为“魔改 Transformer”报道时间线
沿着报道，了解事件的不同侧面。
11月3日
- AGI Huntkalomaze：比 Transformer 更好的架构一直存在，却被视为“魔改 Transformer”
kalomaze 认为，比 Transformer 更好的架构一直存在，只是常被归类为“魔改 Transformer”。他以 GPT-3 为例，指出其在逐项叠加 RoPE、SwiGLU、GQA 等改进的基线对比中处于下风，架构进步更像是渐进叠加，而非彻底另起炉灶。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。