跳到正文
热点事件持续更新

SII与Xinxu AI发布30B-A3B基座模型及报告

1 篇报道1 个报道来源1 小时前更新

先了解这件事

AI 综述

SII与Xinxu AI发布801-30B-A3B-Base基座模型及官方预训练技术报告。该30B-A3B MoE模型从零训练,消耗11.8万亿token,耗时三个月完成。 报告将预训练拆分为基础设施调试、数据调试、配方环和评测集开发等小闭环,通过共享上下文记录保存实验证据与失败尝试,以改进无法低成本重跑完整预训练时的训练流程;报告还评测了基座模型与轻量监督模型。

AI 根据报道生成 · 33 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月21日
  1. AGI Hunt
    SII 与 Xinxu AI 发布 801-30B-A3B-Base 预训练技术报告

    SII 与 Xinxu AI 发布 801-30B-A3B-Base 及其预训练官方技术报告,探索在无法低成本重跑完整预训练时改进训练流程。报告将预训练拆分为基础设施调试、数据调试、配方环和评测集开发等小闭环,并通过共享上下文记录保存证据与失败尝试。团队从零训练的 30B-A3B MoE 基座模型使用 11.8 万亿 token,历时三个月完成,报告同时评测了基座模型与轻量监督模型。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。