跳到正文
热点事件持续更新

RustingStrata 1.3.0支持GPU/CPU混合推理

1 篇报道1 个报道来源57 分钟前更新

先了解这件事

AI 综述

RustingStrata 作者发布 1.3.0 版本。这是一款用 Rust 编写的 GGUF 大模型推理引擎,新版本可将常用 expert 保留在 GPU、其余部分放在 CPU 运行,以处理超出显存容量的大模型。 该版本还新增 `rustingstrata interface`,可扫描本机目录、Hugging Face 缓存和 llama.cpp 缓存并生成完整命令,同时支持 Q40 量化、多模型加载和 `--auto-unload` 空闲自动卸载。

AI 根据报道生成 · 33 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月23日
  1. AGI Hunt
    RustingStrata 1.3.0 发布:支持 GPU 与 CPU 混合运行大模型

    RustingStrata 1.3.0 发布,可将常用 expert 保留在 GPU、其余部分放在 CPU 运行超出显存容量的大模型。新增 rustingstrata interface,可扫描本机目录、Hugging Face 缓存和 llama.cpp 缓存并生成完整命令,同时支持 Q40 量化、多模型加载和 `--auto-unload` 空闲自动卸载。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。