跳到正文
AGI Hunt· _akhaliq·· 5 小时前精选AI 评分78

腾讯开源 770B 参数 MoE 多模态基座 Hy4,支持百万上下文

腾讯开源 770B 参数 MoE 多模态基座 Hy4,49B 激活、百万上下文

AI 导读

腾讯在 Hugging Face 发布 Hy4 base 模型,采用 770B 总参数的 MoE 架构,激活参数约 49B,支持 100 万 token 上下文,可理解文本、图像和视频。

推荐理由

Hy4 同时提供超大规模 MoE、约 49B 激活参数和百万 token 上下文,配套基准对比也为评估其多模态能力与现有前沿模型的差距提供了具体依据。

来源:AGI Hunt · agihunt.info