跳到正文
GitHub 新星仓库·· 1 小时前AI 评分34

ElNeMeR70 的 ai-tok-sh-glitch-token-norm-detector:POSIX Bash AI token 检测工具

ElNeMeR70/ai-tok-sh-glitch-token-norm-detector

AI 导读

ElNeMeR70 的 ai-tok-sh-glitch-token-norm-detector 提供基于 POSIX Bash 的 token 规范检测工具。它属于包含 1,000 个引擎的 ai-1000 套件,涵盖 Tokenizers、BPE、Unigram 与 Structured Grammar,零外部依赖,仅使用标准库数学与 tensor 原语,并以 MIT 许可证发布。

来源:GitHub 新星仓库 · github.com