开发者发布实验性确定性推理引擎 Defer
热点事件持续更新
开发者发布实验性确定性推理引擎 Defer
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
开发者发布纯 Rust 实现的大模型推理引擎 Defer，称在相同提示词、模型及参数（包括 temperature 和 seed）下，输出可始终逐比特一致。其在 CPU 上按固定顺序单线程执行，避免线程、BLAS 或 GPU kernel 引起的浮点重排；开发者还称会话日志仅需约 4KB。 Defer 的代价是速度较慢，在笔记本上运行 SmolLM2-135M 约为 17 tokens/s。作者强调这是展示确定性推理潜力的玩具实验，并非 llama.cpp 或 vLLM 的替代品。
AI 根据报道生成 · 50 分钟前更新
最新进展11月3日 18:16
开发者发布全确定性 LLM 推理引擎 Defer，会话日志仅需 4KB报道时间线
沿着报道，了解事件的不同侧面。
11月3日
- AGI Hunt开发者发布全确定性 LLM 推理引擎 Defer，会话日志仅需 4KB
开发者发布实验性确定性 LLM 推理引擎 Defer，采用纯 Rust 实现，同一 prompt、模型和参数可始终返回逐比特相同的结果。引擎在 CPU 上按固定顺序单线程执行，不使用线程、BLAS 或 GPU kernel 浮点重排；SmolLM2-135M 在笔记本上约为 17 tokens/s。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。