跳到正文
热点事件持续更新

Qwen3.8量化版在单张5080上本地运行实测

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

yehyakar公布Qwen3.8-Flash-Next IQ3S量化版的本地运行结果:在RTX 5080 16GB显存、Core Ultra 9 285K和62GB内存配置下,Agent编码会话生成速度均值为153 tok/s,峰值262 tok/s,显存占用15.7GB;上下文扫描时生成均值约155 tok/s,prompt处理峰值5,662 tok/s。 该测试使用262K上下文和int8 KV缓存;103次Agent编码请求中,99.5%的prompt token命中缓存,首token中位延迟为0.2秒。数据来自yehyakar公开的可复现个人实测,反映特定量化版、引擎与硬件组合下的表现,并非所有Qwen3.8部署的通用速度。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月25日
  1. AGI Hunt
    16GB 显存运行 Qwen3.8 Flash IQ3_S:生成 250 tok/s、预处理 5600 tok/s

    yehyakar 公布在 Strata/Basalt 引擎本地运行 Qwen3.8-Flash-Next IQ3S 量化版的实测。RTX 5080(16GB VRAM)下,生成均值 153 tok/s,prompt 处理均值 5,011 tok/s。Agent 编码中 99.5% 的 prompt token 命中缓存,首 token 中位延迟 0.2s。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。