开发者开源推理引擎 maya-ik2
热点事件持续更新
开发者开源推理引擎 maya-ik2
1 篇报道1 个报道来源24 分钟前更新
先了解这件事
AI 综述
开发者 superalesha 发布基于 Project Maya 的开源推理引擎 maya-ik2。项目称,在单张 RTX 3090 上运行 Inkling 2 Mini 时,maya-ik2 可达 129.5 tok/s 并支持 344K 上下文。 按项目公布的测试结果,其解码速度为 llama.cpp 的 2.3 倍,prefill 速度为 3.7 倍,且未出现质量损失。
AI 根据报道生成 · 18 分钟前更新
最新进展11月21日 20:24
开源推理引擎 maya-ik2 在单卡 RTX 3090 上实现 129.5 tok/s报道时间线
沿着报道,了解事件的不同侧面。
11月21日
- AGI Hunt开源推理引擎 maya-ik2 在单卡 RTX 3090 上实现 129.5 tok/s
开发者 superalesha 发布基于 Project Maya 的开源推理引擎 maya-ik2,在单张 RTX 3090 上运行 Inkling 2 Mini 时达到 129.5 tok/s,并支持 344K 上下文。其解码速度比 llama.cpp 快 2.3 倍,prefill 快 3.7 倍,且原文称未出现质量损失。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。