跳到正文
AGI Hunt· kalomaze·· 3 小时前AI 评分27

kalomaze 展示 DeepSeek V3.1 底座更大骨干实验,eval loss 降至约 0.82

AI 导读

kalomaze 展示基于 DeepSeek V3.1 底座的更大 backbone 实验,eval loss 在约 3750 步内从约 1.14 降至 0.82 左右。训练采用 fp8、r16 混合及 WSD+ADEMA 配置,在 16h200 环境中进行;相关信息来自推文及训练曲线截图。

来源:AGI Hunt · agihunt.info