AGI Hunt· casper_hansen_·· 3 小时前精选AI 评分76
casper_hansen_ 开源 Big-MoE-Small-Box，用单张 24GB 显卡运行 361B DeepSeek 与 321B GLM
开源 Big-MoE-Small-Box:单张 24GB 卡跑 361B DeepSeek 与 321B GLM
AI 导读
casper_hansen_ 开源本地推理仓库 Big-MoE-Small-Box，可通过 OpenAI 兼容接口在单张 24GB 显卡、64GB 内存和 NVMe 上运行 GLM-5.3-Flash 与 DeepSeek-V4.1-Flash。
推荐理由
仓库提供了显存、内存与 NVMe 分层供给超容量 MoE 模型的实现路径，并列出硬件清单与可复现配置。
来源：AGI Hunt · agihunt.info