TextNCA：用神经细胞自动机进行语言建模，性能不及同规模 Transformer

TextNCA 首次将视觉领域的神经细胞自动机原则移植到语言建模，在约 30M 参数规模下将其定位为分析性探针。模型在 SlimPajama 训练 60k 步后，WikiText-103 最佳 PPL 为 60.3，落后于同规模 6 层 Transformer 的 52.8；消融实验显示，由窄到宽的注意力窗口调度是主要影响因素。