跳到正文
热点事件持续更新

Wici团队免费开放Wici Infer推理方案

1 篇报道1 个报道来源1 小时前更新

先了解这件事

AI 综述

Wici 团队免费提供 Wici Infer 本地大模型推理方案,使消费级硬件可通过 VRAM、RAM 和 SSD 组成的分级存储运行模型。 Wici 团队称,该方案通过模型碎片化,将热点专家权重保留在快速内存中,以减少大模型推理时的数据访问压力。目前其官方基准测试的实际效果尚无独立实测结论。

AI 根据报道生成 · 40 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月17日
  1. AGI Hunt
    Wici Infer 通过混合 VRAM、RAM 与 SSD 在消费级硬件运行大模型

    Wici 团队免费提供 Wici Infer 本地推理方案,宣称通过模型碎片化将热点专家权重保留在快速内存,并利用 VRAM、RAM 和 SSD 三级存储服务大模型。相关 Reddit 帖子正征集实际体验,官方 benchmark 的可靠性目前尚无实测结论。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。