跳到正文
AGI Hunt· AccountAntique9327·· 3 小时前AI 评分67

开发者发布基于 llama.cpp 的推理时消融引擎 AbliteratedOutTheBox

llama.cpp 分支实现推理时消融,低显存即可跑消融模型

AI 导读

开发者发布基于 llama.cpp 分支的推理时消融引擎 AbliteratedOutTheBox,并将相关 hook 移植到 Strata。该方案无需微调,可在不占用大量显存的情况下使用去除安全对齐的模型,项目已在 GitHub 开源。

来源:AGI Hunt · agihunt.info