AGI Hunt· jfowers_amd·· 1 小时前精选AI 评分76
AMD Loom 实验让 Agent 为51个模型移植内核并提速
AMD Loom 让 Agent 给 51 个热门模型写内核,Strix Halo 上快过 llama.cpp
AI 导读
AMD AI 部门员工展示了实验性软件栈 hrx-loom,让 Agent 为51个可装入 Strix Halo 的 LLM 移植 Q4KM GGUF 内核。作者称,19个模型家族共449项测量中,prefill 中位提速 1.44×–1.50×,decode 提速约 1.14×–1.19×,均快于 llama.cpp 的 Vulkan 和 ROCm 后端。
推荐理由
公开了跨51个模型的移植成功率与速度对照,为评估 Agent 自动编写推理内核的表现提供了参考。
来源:AGI Hunt · agihunt.info