双字节微型非 BPE 模型早期训练输出代码混乱，样本走红

kalomaze 分享了用纯代码数据训练微型非 BPE 模型的早期收敛输出。该模型词表为 65536，采用双字节 token，生成的代码语法混乱、变量名诡异，呈现出模型尚未学好代码的真实训练状态。