AGI Hunt· DankpawsDev·· 52 分钟前AI 评分68
DankAttn开源Metal 4推理引擎,运行Inkling-2-Mini最高达144.5 tok/s
从零手写 Metal 4 引擎跑 Inkling-2-Mini:M5 Ultra 144 tok/s,32GB MBP 塞下 128k 上下文
AI 导读
DankpawsDev开源Metal 4推理引擎DankAttn,为Inkling-2-Mini提供Apple Silicon后端,并附带约19GB预打包权重。
来源:AGI Hunt · agihunt.info