跳到正文
AGI Hunt· qdrant_engine·· 48 分钟前AI 评分60

Qdrant 工程师用 no_std Rust 将 potion-base-2M 部署到 16MB ESP32

用 no_std Rust 把 200 万参数 embedding 模型跑进 16MB 的 ESP32

AI 导读

Qdrant 工程师 Clelia 将 Minish Lab 的 potion-base-2M embedding 模型移植到仅有 16MB 内存的 ESP32 微控制器。固件使用 no_std Rust 编写,并在编译期嵌入模型权重与词表;短文本嵌入约 1.2ms,吞吐约 830 embeddings/s,内存占用远低于 Mac 上的静态模型方案。

来源:AGI Hunt · agihunt.info