跳到正文
AGI Hunt· TheTuringPost·· 2 小时前AI 评分48

Cartesia H-Net 展示「上下文分词」:无需固定分词器也能切分 DNA 与生词

Cartesia H-Net 展示「上下文分词」:模型无分词器也能学会切分 DNA 与生词

AI 导读

Cartesia 新 H-Net 模型展示「in-context tokenization」现象:没有固定分词器时,上下文会改变模型组织信息的方式。模型面对编造词时会随示例增加逐渐形成完整分块,在细菌 DNA 上训练的独立 H-Net 也能识别人类基因结构;相比 SmolLM3,H-Net 使用少得多的训练数据达到相近效果。

来源:AGI Hunt · agihunt.info