跳到正文
AGI Hunt· charles_irl·· 2 小时前AI 评分63

开源推理库 resin 实战:约4-5小时接入Intel HPU并扩展至b=16

开源推理库 resin 实战:Claude 4-5 小时接入冷门 Intel HPU,并发近线性扩到 b=16

AI 导读

用户用约4-5小时将自有forward与resin的调度、批处理合并,在Intel/Habana HPU后端实现接近线性的并发扩展至b=16。resin是用于构建LLM推理的实验性Rust积木库,包含无头Engine、KV cache和metrics server,并提供templating与缓存能力,项目已获313 star。

来源:AGI Hunt · agihunt.info