跳到正文
AGI Hunt· jesdga95·· 2 小时前AI 评分66

Inkling 2 Mini 在单张 RTX 5090 上跑出 613 tok/s 解码并支持 1M 上下文

Inkling 2 Mini 单张 5090 跑出 613 tok/s 解码,支持 1M 上下文

AI 导读

作者使用 Basalt 0.5.5 引擎实测 Inkling 2 Mini,单张 RTX 5090 的结构化输出解码速度达到 613 tok/s,散文和聊天分别为 287 tok/s 与 338 tok/s。

来源:AGI Hunt · agihunt.info