ElNeMeR70/ai-tok-cpp-byte-latent-patch-entropy：C++20 Tokenizers、BPE、Unigram 与结构化语法引擎

ElNeMeR70 构建了 ai-tok-cpp-byte-latent-patch-entropy，一款面向 Tokenizers、BPE、Unigram 与结构化语法的 C++20 AI 引擎。该模块属于包含 1,000 个多语言 AI、LLM、Agentic Swarm、RAG 与量化引擎的 ai-1000 套件，使用 main.cpp 且无外部包依赖，以 MIT License 开源。