跳到正文
AGI Hunt· huggingface·· 30 分钟前精选AI 评分77

Hugging Face transformers 支持全模型导出量化并适配任意推理后端

Hugging Face transformers 支持全模型导出量化,任意后端即插即用

AI 导读

Hugging Face transformers 更新支持导出、量化并端到端运行所有 transformers 模型,兼容任意推理后端。其 drop-in replacement 特性可让相同输入在导出或量化前后得到相同输出,开发者无需修改现有代码即可部署到不同后端,配套文档与 release notes 已发布。

推荐理由

Hugging Face transformers 更新支持模型导出、量化及端到端运行,并强调导出前后输出一致,开发者可在不改动现有代码的情况下切换推理后端。

来源:AGI Hunt · agihunt.info