TextNCA将神经细胞自动机用于语言建模
热点事件持续更新
TextNCA将神经细胞自动机用于语言建模
1 篇报道1 个报道来源49 分钟前更新
先了解这件事
AI 综述
TextNCA研究团队提出将视觉领域的神经细胞自动机（NCA）原理用于语言建模，并将其定位为分析性探针。模型在SlimPajama数据集训练6万步后，WikiText-103最佳困惑度为60.3，低于同规模6层Transformer的52.8；消融实验显示，注意力窗口由窄到宽的调度是影响性能的主要因素。
AI 根据报道生成 · 31 分钟前更新
最新进展11月10日 08:59
TextNCA：用神经细胞自动机进行语言建模，性能不及同规模 Transformer报道时间线
沿着报道，了解事件的不同侧面。
11月10日
- AGI HuntTextNCA：用神经细胞自动机进行语言建模，性能不及同规模 Transformer
TextNCA 首次将视觉领域的神经细胞自动机原则移植到语言建模，在约 30M 参数规模下将其定位为分析性探针。模型在 SlimPajama 训练 60k 步后，WikiText-103 最佳 PPL 为 60.3，落后于同规模 6 层 Transformer 的 52.8；消融实验显示，由窄到宽的注意力窗口调度是主要影响因素。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。