MoE 架构入门：路由器按 token 挑选专家网络，只激活部分参数

MoE 架构通过路由器为每个 token 挑选专家网络，仅激活部分参数，同时保留所有输入共用的共享参数。该设计让模型拥有更大的学习容量，并减少每个输入所需的算力和处理时间。