resin将Claude推理接入Intel HPU

开发者abotsis称，他用约4至5小时将自有的Claude前向传播与开源Rust库resin的调度、批处理能力合并，部署到Intel/Habana HPU后端，并实现并发规模扩展至b=16时接近线性增长。 resin并非完整的LLM推理引擎，而是提供无头Rust Engine、KV cache、指标服务器及模板、缓存等组件的实验性积木库；针对HPU的模型前向传播仍需由abotsis自行实现为硬件专用kernel。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。