跳到正文
AGI Hunt· kalomaze·· 3 小时前AI 评分32

同数据同 tokenizer 对照实验:DeepSeek V3.1 微调 CE 优于 Llama 全系

AI 导读

同数据同 tokenizer 对照实验中,DeepSeek V3.1 的 LoRA 微调 Eval CE 为 0.80396,优于 Llama 405B、Llama 70B 和 Llama 8B。后三者分别为 0.81760、0.84229 和 0.85536,四者训练 token 量均约 2.28 亿,其中监督 token 为 9098 万。

来源:AGI Hunt · agihunt.info