AGI Hunt· sargetun123·· 3 小时前AI 评分56
单卡 Tesla P40 运行 Ornith 1.5 35B-A3B 实现 262k 上下文与短输出 60 t/s
单卡 Tesla P40 榨出 35B MoE:262k 上下文短输出 60 t/s
AI 导读
作者花两天调优单张 Tesla P40，以自维护的 llama.cpp fork 运行 Ornith 1.5 35B-A3B，并实现完整 262k 上下文，短输出约 60 t/s、100k 深度约 30 t/s。
来源：AGI Hunt · agihunt.info