跳到正文
AGI Hunt· NielsRogge·· 2 小时前AI 评分62

Translated 开源 Lara Mini Base 0.6B,覆盖 45 种语言

Translated 开源 Lara Mini Base:0.6B 激活参数横扫 45 种语言

AI 导读

Translated 发布开源小模型 Lara Mini Base,采用 MoE 架构,总参数 7.2B、激活参数 0.6B,从零在 6T token 上训练并覆盖 45 种语言。模型支持 128k 上下文,在激活参数不超过 2B 的开源基座模型中取得最高平均分,权重以 CC BY-NC-SA 4.0 许可发布;团队还计划推出包含 110 种语言变体的 T-HellaSwag 基准。

来源:AGI Hunt · agihunt.info