Inkling-2-Mini移植AMD单卡
热点事件持续更新
Inkling-2-Mini移植AMD单卡
1 篇报道1 个报道来源46 分钟前更新
先了解这件事
AI 综述
作者 abhinand05 将 Inkling-2-Mini 移植至 vLLM,并在单张 AMD R9700(32GB,RDNA4)上实现约 110 tok/s 解码;相关运行方案已以 vllm-redshift 项目开源。 此次移植使用模型官方 NVFP4/MXFP4 权重,在显存内支持模型 1M 上下文中的 196K,并可进行 2 路并发。vLLM 上游此前仅支持 NVIDIA 和 MI355X,作者还计划将类似移植用于 Qwen4,并探索 7900 XTX 等 24GB 显卡及定制量化。
AI 根据报道生成 · 14 分钟前更新
最新进展11月22日 18:04
单卡 R9700 跑通 Inkling-2-Mini:196K 上下文、约 110 tok/s报道时间线
沿着报道,了解事件的不同侧面。
11月22日
- AGI Hunt精选单卡 R9700 跑通 Inkling-2-Mini:196K 上下文、约 110 tok/s
作者在 AMD R9700(32GB,RDNA4)上把 Inkling-2-Mini 移植到 vLLM,实现 196K 上下文与约 110 tok/s 解码。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。