AGI Hunt· AccountAntique9327·· 3 小时前AI 评分67
开发者发布基于 llama.cpp 的推理时消融引擎 AbliteratedOutTheBox
llama.cpp 分支实现推理时消融,低显存即可跑消融模型
AI 导读
开发者发布基于 llama.cpp 分支的推理时消融引擎 AbliteratedOutTheBox,并将相关 hook 移植到 Strata。该方案无需微调,可在不占用大量显存的情况下使用去除安全对齐的模型,项目已在 GitHub 开源。
来源:AGI Hunt · agihunt.info