wyat-2：单张 RTX 4070 Ti 微调的首个循环 Transformer 决策模型

wyat-2 由基于 Ouro-1.4B 微调的 14 亿参数循环 Transformer 构建，用于给候选答案选项打分，训练仅使用一张 RTX 4070 Ti。作者称，据其所知，这是首个基于循环 Transformer 的决策模型，并强调其性能并非最佳。技术报告 PDF 与 Hugging Face 模型权重均已公开。