跳到正文
AGI Hunt· jedisct1·· 2 小时前AI 评分66

OVH 发布 Olala LLM 家族,首款 Olala mini 7A1B 可在 8GB 显存运行

OVH 首个自研 LLM 亮相:Olala mini 7B 激活 1B,8GB 显存可跑

AI 导读

法国云厂商 OVH 发布自研 LLM 家族 Olala,首款 Olala mini 7A1B 总参数 7B,每层 256 个专家仅激活约 1B。模型采用 Differential-TPA 与 Mamba-3 混合注意力方案及 BF16 格式,在 RTX A4500 上可达 160 tokens/s,纯 CPU 可达 50 tokens/s,上下文窗口为 32K tokens。

来源:AGI Hunt · agihunt.info