François Fleuret 提问：SOTA Transformer 的关键现代特性还有哪些

François Fleuret 在 X 上发起讨论，盘点 SOTA Transformer 的关键现代特性。他列出混合注意力结构、MoE 前馈网络和长上下文策略三项，其中混合注意力可采用 3 层滑动窗口注意力（SWA）与 1 层全注意力（FCA）循环堆叠，并征询社区是否还有其他遗漏特性。