AGI Hunt· illgettheownerforyou·· 3 小时前AI 评分37
RTX 6000 Pro 用户用 LLM 自建 DeepSeek Harness 本地大模型切换器插件
RTX 6000 Pro 用户用 LLM 自建本地大模型切换器插件
AI 导读
一位 Reddit 用户借助 LLM 和图像生成,在 DeepSeek Harness 桌面应用中制作了本地大模型切换器插件,用于加载和卸载模型。其 RTX 6000 Pro 配置为 128GB DDR5 与 9950x3D,界面可依据真实使用统计展示各模型的预期 tok/s 和加载时间。作者称本地运行速度“难以置信”,并征集管理本地引擎的其他 UI 方案。
来源:AGI Hunt · agihunt.info