跳到正文
AGI Hunt· AdRepulsive7837·· 2 小时前AI 评分32

LFM3-1.7B 小模型实测:3090Ti 预填充 20000 token/s,胜任 128k 医疗长文摘要

1.7B 小模型实测:3090Ti 预填充 2 万 token/s,胜任 128k 医疗长文摘要

AI 导读

LFM3-1.7B 在 3090Ti 上完成单次约 128k token 医疗记录与用药清单的摘要、问答实测,预填充速度约 20000 token/s,解码约 350 token/s。此前使用 Qwen 27B 仅预填充就需约 20 分钟;LFM3-1.7B 表现快速且严重幻觉较少,但偶尔会混淆药物通用名与商品名。

来源:AGI Hunt · agihunt.info