跳到正文
热点事件持续更新

Cuddler展示单核磁盘推理实践

1 篇报道1 个报道来源3 小时前更新

先了解这件事

AI 综述

系统工程师 Maui-The-Magificent 公开了自研模型重表示编译器 Cuddler 的中途实践:通过磁盘读取权重,在单个 CPU 核上完成 Qwen3.5:0.8B BF16 推理。其静态内存池为 256MB,实测峰值 RSS 为 109MB,但单轮生成约需 10—25 秒。 Cuddler 使用作者为图形工作构建的解码器。作者称自己对 AI 模型和运行时了解有限,因此向业界求助磁盘推理方案的 RSS 基线数据,用于评估当前表现并规划重表示原始权重的后续方向。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月23日
  1. AGI Hunt
    自研编译器 Cuddler 单核 CPU 运行 Qwen3.5:0.8B,峰值内存仅 109MB,作者求业界基线数据

    自研模型重表示编译器 Cuddler 通过磁盘读取方式在单个 CPU 核上运行 Qwen3.5:0.8B BF16 推理,静态内存池为 256MB,实测峰值 RSS 仅 109MB。单轮生成耗时约 10-25 秒,作者向社区求助磁盘推理方案的 RSS 基线数据,以评估表现并规划重表示原始权重方向。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。