文心 5.5 Flash Preview 架构拆解：280B 参数每 token 仅激活 14B

文心 5.5 Flash Preview 被拆解为多路由 MoE 模型，总参数 280B，每 token 仅激活 14B，由多个路由器共同选择专家。模型采用混合稀疏注意力，多数层读取压缩后的历史信息，少数层查询细节，以降低长上下文的显存占用。