独立开发者开源 Leviathan 本地 LLM 推理套件

一位独立开发者开源 Leviathan，这是一套纯本地运行的 LLM 推理工具集，模型直接在 GPU 上运行，不依赖 server、llama.cpp 或 LM Studio。项目手写 CUDA 内核，支持多种量化和全精度变体，并整合 30 多个架构及可预览合并结果的 merge 工具，已在 GitHub 发布并附带 Hugging Face Space。