UPenn 团队发布 ARLoop-1.2B 循环 Transformer LLM

UPenn 团队联合 OSU NLP 发布 ARLoop 系列循环 Transformer LLM，ARLoop-1.2B 引入 Attention Residuals，在 0.5T token 预训练后于 8 个常识推理、数学和编程基准上超过 Huginn-3.5B 与 Qwen3.5-2B Base。团队同步开源模型权重、训练代码、数据处理代码、中间 checkpoint 和评测代码。