Reddit LocalLLaMA 社区热议大模型的推理时 Abliteration 方案

Reddit LocalLLaMA 用户讨论大模型本地部署时如何减少去审查版本的存储占用。约 27-35B 的中型模型可直接下载 Abliterated 或 Uncensored GGUF，而大模型常超过 100GB；AbliteratedOutTheBox 可在推理时执行 abliteration，无需为每个模型单独下载去审查版本。