LLM 架构消融实测：细粒度 MoE 是 2020 年后最有效的改进

AGI Hunt 刊载的架构消融实测显示，自 GPT-3 以来，细粒度 MoE 是 2020 年后最有用的 LLM 架构改进。线性注意力（linear attention）和 hyper-connections 也被证明有效；实验由 nvpavlichenko 与 bux 共同运行，但作者强调其覆盖范围并非字面穷尽所有架构改动。