AGI Hunt· iyioioio·· 2 小时前AI 评分59
开发者发布全确定性 LLM 推理引擎 Defer,会话日志仅需 4KB
开发者用 Claude 写出全确定性 LLM 推理引擎:逐比特可复现,会话仅 4KB
AI 导读
开发者发布实验性确定性 LLM 推理引擎 Defer,采用纯 Rust 实现,同一 prompt、模型和参数可始终返回逐比特相同的结果。引擎在 CPU 上按固定顺序单线程执行,不使用线程、BLAS 或 GPU kernel 浮点重排;SmolLM2-135M 在笔记本上约为 17 tokens/s。
来源:AGI Hunt · agihunt.info