跳到正文
AGI Hunt· teortaxesTex·· 36 分钟前AI 评分64

开源推理引擎 maya-ik2 在单卡 RTX 3090 上实现 129.5 tok/s

单卡 RTX 3090 跑出 129.5 tok/s 与 344K 上下文,自研推理引擎对比 llama.cpp 提速 2.3 倍

AI 导读

开发者 superalesha 发布基于 Project Maya 的开源推理引擎 maya-ik2,在单张 RTX 3090 上运行 Inkling 2 Mini 时达到 129.5 tok/s,并支持 344K 上下文。其解码速度比 llama.cpp 快 2.3 倍,prefill 快 3.7 倍,且原文称未出现质量损失。

来源:AGI Hunt · agihunt.info