Kimi K3 用分位数均衡替代固定步长实现 MoE 专家负载均衡

Kimi K3 为每层多达 896 个路由专家改用分位数均衡，通过跨 GPU 汇总的得分直方图求解各专家 bias，无需调节步长。测试重复批次中，符号更新最忙专家仍比均值高 25%，分位数均衡则收敛至 8%；DeepSeek-V4.1-Flash 则为每个模态保留一个 bias。