AGI Hunt· pmttyji·· 35 分钟前AI 评分46
llama.cpp 新增 --shard 参数,支持跨盘加载分片与独立 PLE 文件
llama.cpp 新增 --shard 参数,支持跨盘加载分片与独立 PLE 文件
AI 导读
llama.cpp 合入 PR #31185,新增 --shard 命令行参数,可从多个位置加载模型分片,并支持从独立 GGUF 文件加载 PLE(engram) 文件。转换工具可生成不含 PLE 和仅含 PLE 的 GGUF,模型分片还能组合不同提供方的片段,并可选择跳过文件数校验。--shard 与 --ple 互为别名,适用于本地多盘或多来源模型部署。
来源:AGI Hunt · agihunt.info