AGI Hunt· cneuralnetwork·· 1 小时前AI 评分54
开发者用纯 SQL 在 SQLite 中实现 SmolLM-135M 完整推理
极客用纯 SQL 在 SQLite 中实现 SmolLM-135M 推理
AI 导读
一名开发者用纯 SQL 在 SQLite 中实现了 135M 参数模型 SmolLM-135M 的完整推理流水线,相关仓库已在 GitHub 公开。流水线涵盖 Unicode 预分词、byte-level BPE 分词、embedding、30 层 Transformer 以及 KV cache 等环节。推理速度很慢,约 40 秒才输出一个 token,作者将其定位为极限工程的玩梗尝试。
来源:AGI Hunt · agihunt.info