AGI Hunt· lxfater·· 3 小时前AI 评分70
Apex-35B-v1.0 单卡实测:48G 4090 达到 205 tok/s
Apex-35B 单卡实测:48G 4090 跑 205 tok/s,21 分钟自修 Python 项目
AI 导读
超衍新模型 Apex-35B-v1.0 在 48G 4090 上的实测达到 205 tok/s,使用 Strata 加载至 24G 显存时可达 115 tok/s,比 llama.cpp 快 72%。
来源:AGI Hunt · agihunt.info