AGI Hunt· peaster_·· 2 小时前AI 评分61
开发者将 Inkling 2 Mini 移植到 vLLM,双 RTX 3090 解码速度约 200 tok/s
开发者把 Inkling 2 Mini 移植到 vLLM,双 3090 解码速度飙至约 200 tok/s
AI 导读
开发者借助前沿模型指导,将 Inkling 2 Mini 从 llama.cpp 移植到 Ampere 架构 GPU 上的 vLLM,双 RTX 3090 解码速度约 200 tok/s。
来源:AGI Hunt · agihunt.info