跳到正文
AGI Hunt· Maui-The-Magificent·· 3 小时前AI 评分41

自研编译器 Cuddler 单核 CPU 运行 Qwen3.5:0.8B,峰值内存仅 109MB,作者求业界基线数据

自研编译器单核 CPU 跑 Qwen3.5-0.8B:峰值内存仅 109MB,作者求业界基线数据

AI 导读

自研模型重表示编译器 Cuddler 通过磁盘读取方式在单个 CPU 核上运行 Qwen3.5:0.8B BF16 推理,静态内存池为 256MB,实测峰值 RSS 仅 109MB。单轮生成耗时约 10-25 秒,作者向社区求助磁盘推理方案的 RSS 基线数据,以评估表现并规划重表示原始权重方向。

来源:AGI Hunt · agihunt.info