AGI Hunt· TheTuringPost·· 2 小时前AI 评分48
Cartesia H-Net 展示「上下文分词」:无需固定分词器也能切分 DNA 与生词
Cartesia H-Net 展示「上下文分词」:模型无分词器也能学会切分 DNA 与生词
AI 导读
Cartesia 新 H-Net 模型展示「in-context tokenization」现象:没有固定分词器时,上下文会改变模型组织信息的方式。模型面对编造词时会随示例增加逐渐形成完整分块,在细菌 DNA 上训练的独立 H-Net 也能识别人类基因结构;相比 SmolLM3,H-Net 使用少得多的训练数据达到相近效果。
来源:AGI Hunt · agihunt.info