训练损失曲线对比：架构归纳偏置如何拉开收敛效率差距

一组相同数据与算力条件下的训练损失曲线显示，仅改变架构的归纳偏置就会显著影响收敛速度与最终损失。红色曲线约在 4k 步降至 0.029，蓝色曲线约需 28k 步降至 0.032，橙色曲线在 40k+ 步时仍高于 0.04。