跳到正文
Hacker News front page· cobychapple·· 2 小时前AI 评分73

ggml v1.0.0 发布,新增 YaRN 截断与 FP8 支持

Ggml v1.0.0

AI 导读

ggml v1.0.0 发布,移除已弃用的公共 API 和旧版 DIAG_MASK 操作,并将 RPC 协议升级至 v9。该版本加入可配置的 YaRN 截断和 FP8 支持,同时更新 CUDA、Metal、Vulkan、SYCL、OpenCL、WebGPU、Hexagon 与 CPU 后端,涵盖少量行量化矩阵乘法、MoE 融合、FlashAttention 路径及多项内核优化。

来源:Hacker News front page · github.com