AGI Hunt· huggingface·· 30 分钟前精选AI 评分77
Hugging Face transformers 支持全模型导出量化并适配任意推理后端
Hugging Face transformers 支持全模型导出量化,任意后端即插即用
AI 导读
Hugging Face transformers 更新支持导出、量化并端到端运行所有 transformers 模型,兼容任意推理后端。其 drop-in replacement 特性可让相同输入在导出或量化前后得到相同输出,开发者无需修改现有代码即可部署到不同后端,配套文档与 release notes 已发布。
推荐理由
Hugging Face transformers 更新支持模型导出、量化及端到端运行,并强调导出前后输出一致,开发者可在不改动现有代码的情况下切换推理后端。
来源:AGI Hunt · agihunt.info