AGI Hunt· Puzzled-Stick9170·· 2 小时前AI 评分57
自建 llama.cpp 分支让 12GB 显卡运行 64K 上下文
自建 llama.cpp 分支让 12GB 显卡跑 64K 上下文,解码翻倍预填快 17 倍
AI 导读
作者通过自建 llama.cpp 分支,让单张 RTX 4070 Ti(12 GB)以 51-64 tok/s 解码、约 1,500 tok/s 预填运行 Inkling 2 Mini 的 64K 上下文。
来源:AGI Hunt · agihunt.info