跳到正文
AGI Hunt· Repulsive_Initial308·· 3 小时前AI 评分43

LFM3 1.7B 本地实测:Q8 量化仅 1.7GB,RTX 3090 Ti 跑出 329 tokens/s

LFM3 1.7B 本地实测:Q8 量化仅 1.7GB,RTX 3090 Ti 跑出 329 tokens/s

AI 导读

Reddit 用户使用 llama.cpp 的 Q80 量化版 LFM3 1.7B(1.71 GiB)完成本地实测,RTX 3090 Ti 上预填充速度约 20648 tokens/s,生成速度约 329 tokens/s。2B VL 版本表现也不错,但上下文长度仅为 1.7B 版的一半。

来源:AGI Hunt · agihunt.info