单卡P40跑通35B MoE长上下文
热点事件持续更新
单卡P40跑通35B MoE长上下文
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
sargetun123称，其用两天调优，在单张24GB、PCIe x1的Tesla P40上，通过自维护的llama.cpp fork运行Ornith 1.5 35B-A3B；权重不低于Q4、KV缓存采用q8时，可使用完整262k上下文，短输出速度约60 t/s，100k深度时约30 t/s。 据其测试，关闭ECC可增加1.5GB显存并使解码速度提升9%；将MTP prefill窗口限制为提示词最后8k后，121k提示的prefill速度从327提升至373 t/s，输出质量不变。
AI 根据报道生成 · 1 小时前更新
最新进展10月28日 18:58
单卡 Tesla P40 运行 Ornith 1.5 35B-A3B 实现 262k 上下文与短输出 60 t/s报道时间线
沿着报道，了解事件的不同侧面。
10月28日
- AGI Hunt单卡 Tesla P40 运行 Ornith 1.5 35B-A3B 实现 262k 上下文与短输出 60 t/s
作者花两天调优单张 Tesla P40，以自维护的 llama.cpp fork 运行 Ornith 1.5 35B-A3B，并实现完整 262k 上下文，短输出约 60 t/s、100k 深度约 30 t/s。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。