AGI Hunt· burny_tech·· 2 天前AI 评分35
MIT 与 Adobe 提出 Latent Lattice 架构:406M 模型 perplexity 从 15.41 降至 14.40
MIT与Adobe提出Latent Lattice架构:406M模型 perplexity 从15.41降至14.40
AI 导读
MIT 与 Adobe 研究者提出 Latent Lattice Language Models(LLLM),以逐层递归的横向隐状态流扩展模型计算。在 20B FineWeb-Edu tokens 上训练后,406M 参数模型的 perplexity 从 15.41 降至 14.40,匹配参数量多 50% 的常规 Transformer;结合残差流增强后进一步降至 13.61。
来源:AGI Hunt · agihunt.info