AGI Hunt· NielsRogge·· 2 小时前AI 评分62
Translated 开源 Lara Mini Base 0.6B,覆盖 45 种语言
Translated 开源 Lara Mini Base:0.6B 激活参数横扫 45 种语言
AI 导读
Translated 发布开源小模型 Lara Mini Base,采用 MoE 架构,总参数 7.2B、激活参数 0.6B,从零在 6T token 上训练并覆盖 45 种语言。模型支持 128k 上下文,在激活参数不超过 2B 的开源基座模型中取得最高平均分,权重以 CC BY-NC-SA 4.0 许可发布;团队还计划推出包含 110 种语言变体的 T-HellaSwag 基准。
来源:AGI Hunt · agihunt.info