SageMaker为TTS提供实测扩缩容方法

AWS Machine Learning Blog作者Joseph Cottingham介绍了在Amazon SageMaker AI上为Kokoro-82M部署实时TTS端点，并用实测的Q_max和T_total推导自动扩缩容策略，替代仅凭经验设置目标的做法。 文中以Kokoro-82M在ml.g5.xlarge实例上的测试结果为例，Q_max为50、T_total为320秒；运行扩容测试前，服务配额需在基线之外至少有一个可用槽位。示例容器固定使用存在已知安全公告PYSEC-2026-2286的较早PyTorch版本，该问题在torch 2.10.0中已修复，因此相关数值和方法不应直接套用于其他模型、实例或配置。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。