跳到正文
AGI Hunt· Unlikely_Safety_7456·· 3 小时前AI 评分46

DynaLM:开源 CPU 优先的 LLM 推理引擎

开源 DynaLM:不依赖 GPU 的 CPU 优先 LLM 推理引擎

AI 导读

开发者发布开源项目 DynaLM,这是一款不依赖 GPU、采用原生 CPU 优化的本地 LLM 推理引擎,并提供 OpenAI 兼容 API。项目方不声称其速度超过现有运行时,呼吁社区测试不同 CPU 与操作系统、复现性能基准、审查实现,并参与处理 GitHub issues、挖掘 bug 与性能瓶颈。

来源:AGI Hunt · agihunt.info