Kapitsa 新增 Hy4-flash 推理支持
热点事件持续更新
Kapitsa 新增 Hy4-flash 推理支持
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
Kapitsa 主贡献者为开源 Apple 芯片推理引擎新增 Hy4-flash 支持,并公布其在 MacBook Pro M5 Max(40 核 GPU、128GB 内存)上的实测:短上下文解码达 36.4 t/s,32K 上下文仍有 34.6 t/s。 该方案采用 Hy4-flash-MLX-4bit 量化,主干为 8-bit、路由专家为 4-bit,模型磁盘占用 134GB;在 128GB 内存设备上,专家可全部驻留内存,主贡献者称这是高速解码的关键。48GB 的 M5 Pro 因需从 SSD 流式加载专家,解码速度约为 3.5 t/s。Kapitsa 还支持 OpenAI/Anthropic 兼容 API、工具调用及 thinking 开关。
AI 根据报道生成 · 34 分钟前更新
最新进展11月21日 02:32
开源推理引擎 Kapitsa 新增 Hy4-flash 支持,M5 Max 解码达 36.4 t/s报道时间线
沿着报道,了解事件的不同侧面。
11月21日
- AGI Hunt开源推理引擎 Kapitsa 新增 Hy4-flash 支持,M5 Max 解码达 36.4 t/s
开源推理引擎 Kapitsa 新增 Hy4-flash 支持,在 MacBook Pro M5 Max(40 核 GPU、128GB)上实测解码速度达 36.4 t/s,32K 上下文下为 34.6 t/s。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。