kalomaze：比 Transformer 更好的架构一直存在，却被视为“魔改 Transformer”

kalomaze 认为，比 Transformer 更好的架构一直存在，只是常被归类为“魔改 Transformer”。他以 GPT-3 为例，指出其在逐项叠加 RoPE、SwiGLU、GQA 等改进的基线对比中处于下风，架构进步更像是渐进叠加，而非彻底另起炉灶。