跳到正文
GitHub 新星仓库·· 2 小时前AI 评分41

ElNeMeR70/ai-tok-cpp-byte-pair-bpe-merge-table:C++20 AI 分词器与 BPE 合并表

ElNeMeR70/ai-tok-cpp-byte-pair-bpe-merge-table

AI 导读

ElNeMeR70/ai-tok-cpp-byte-pair-bpe-merge-table 提供基于 C++20 的 AI 分词器与 byte-pair-bpe-merge-table 算法模块,覆盖 Tokenizers、BPE、Unigram 和 Structured Grammar。

来源:GitHub 新星仓库 · github.com