AGI Hunt· Kooky-Mode3047·· 3 小时前AI 评分22
Reddit 求证 Basalt 与 nvfp4 量化模型的质量退化对比数据
AI 导读
Reddit 用户求证 Basalt、Infernix、Strata(-nvfp4) 等低精度量化方案是否有除速度外的可靠质量退化评测,以判断快速推理是否值得。发帖人指出,Basalt 缺少动态 RoPE 缩放,自加载起静态启用 2 倍 YaRN 缩放并支持 524K 上下文;其未提供内置审查开关,但相关机制存在,补充实现并不困难。
来源:AGI Hunt · agihunt.info