AGI Hunt· abhinand05·· 46 分钟前精选AI 评分79
单卡 R9700 跑通 Inkling-2-Mini:196K 上下文、约 110 tok/s
AI 导读
作者在 AMD R9700(32GB,RDNA4)上把 Inkling-2-Mini 移植到 vLLM,实现 196K 上下文与约 110 tok/s 解码。
推荐理由
完整记录了单卡移植的权重解码与注意力内核方案,并给出速度、上下文和并发实测,便于复现与比较。
来源:AGI Hunt · agihunt.info