跳到正文
AGI Hunt· teortaxesTex·· 53 分钟前AI 评分47

Inkling 疑似蒸馏自 Kimi,评论者称蒸馏适合初始化新项目

Inkling 疑似蒸馏自 Kimi,评论者称蒸馏是项目初始化的强力招数

AI 导读

TML 的 Inkling 模型谱系被指最初由 Kimi 蒸馏而来,后续版本又从更大、耗费大量算力训练的 Inkling 蒸馏,并在 10 万+ 序列上进行高速 RL。该分析认为,蒸馏适合先用现成前沿模型初始化项目,再结合自有算力与 RL 流程继续训练。

来源:AGI Hunt · agihunt.info