跳到正文
AGI Hunt· blelbach·· 2 小时前AI 评分47

Modal 联手 Sakana AI 优化 Namazu API:NVFP4 量化、DFlash 与 KV 路由

Modal 联手 Sakana 将 Namazu API 优化到内核级,NVFP4 量化+KV 路由

AI 导读

Modal 与 Sakana AI 合作优化 Sakana Namazu API,将推理性能优化至内核级。方案包括针对拥有 2.3 万+专家的 MoE 模型进行选择性 NVFP4 量化,以 DFlash 草稿模型将接受率提升 25%,并引入自研前缀 KV 路由与 serverless 自动扩缩容。

来源:AGI Hunt · agihunt.info