AGI Hunt· Repulsive_Initial308·· 3 小时前AI 评分43
LFM3 1.7B 本地实测:Q8 量化仅 1.7GB,RTX 3090 Ti 跑出 329 tokens/s
LFM3 1.7B 本地实测:Q8 量化仅 1.7GB,RTX 3090 Ti 跑出 329 tokens/s
AI 导读
Reddit 用户使用 llama.cpp 的 Q80 量化版 LFM3 1.7B(1.71 GiB)完成本地实测,RTX 3090 Ti 上预填充速度约 20648 tokens/s,生成速度约 329 tokens/s。2B VL 版本表现也不错,但上下文长度仅为 1.7B 版的一半。
来源:AGI Hunt · agihunt.info