跳到正文
AGI Hunt· Shanghai-AI-Laboratory·· 3 小时前AI 评分41

上海AI Lab提出OpenESM:能量引导模型作为可扩展基座学习器

上海 AI Lab OpenESM:能量引导模型可作可扩展基座学习器

AI 导读

上海人工智能实验室提出OpenESM,将能量导向的隐空间优化与token生成整合进单一架构,使有利token对应更低能量值。团队在三个大规模语料上预训练ESM,并在26个基准上评估其scaling行为,报告其可有效扩展并改进基础语言建模;代码与模型已在GitHub和Hugging Face开源。

来源:AGI Hunt · agihunt.info