跳到正文
热点事件持续更新

分享 llama.cpp 分支实现 64K 推理

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

开发者 Puzzled-Stick9170 分享其自建的 llama.cpp 分支 inkling-fast,并通过三项优化,使单张 12GB RTX 4070 Ti 能够运行 Inkling 2 Mini 的 64K 上下文,量化文件大小为 10.3 GiB。 据作者实测,该配置下解码速度为 51–64 tok/s,预填速度约 1,500 tok/s;聊天、工具调用、视觉处理和提示词缓存均可正常运行,其中视觉投影组件在 CPU 上运行。作者还发现,12GB 显卡上的解码主要受内核启动限制,而非显存带宽限制。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月22日
  1. AGI Hunt
    自建 llama.cpp 分支让 12GB 显卡运行 64K 上下文

    作者通过自建 llama.cpp 分支,让单张 RTX 4070 Ti(12 GB)以 51-64 tok/s 解码、约 1,500 tok/s 预填运行 Inkling 2 Mini 的 64K 上下文。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。