GitHub 新星仓库·· 2 小时前AI 评分41
ElNeMeR70/ai-tok-cpp-byte-pair-bpe-merge-table:C++20 AI 分词器与 BPE 合并表
ElNeMeR70/ai-tok-cpp-byte-pair-bpe-merge-table
AI 导读
ElNeMeR70/ai-tok-cpp-byte-pair-bpe-merge-table 提供基于 C++20 的 AI 分词器与 byte-pair-bpe-merge-table 算法模块,覆盖 Tokenizers、BPE、Unigram 和 Structured Grammar。
来源:GitHub 新星仓库 · github.com