AWS 博客介绍 SageMaker 上 Kokoro TTS 的扩缩容与流式方案
先了解这件事
2026年10月23日，AWS Machine Learning Blog 发布一篇一手技术文章，介绍在 Amazon SageMaker AI 实时端点上部署 Kokoro-82M（8200 万参数 TTS 模型）时，如何不再凭猜测设定自动扩缩容目标。该方案先实测两个量：Q_max，即单实例在 SLO 内可承受的最高并发；T_total，即一次完整扩容耗时。再通过算术推导得出扩容阈值、缩容阈值以及两个冷却时间，用以替代凭经验猜测的自动扩缩容参数。报道未给出具体数值或上线效果数据。同日稍后，该博客又发布一篇一手文章，介绍同一模型在 SageMaker AI 上的流式语音方案：Kokoro-82M 可按句流式合成，让 AI 语音智能体在生成第一句时就开始播放音频，而不必等完整回复生成完毕；模型仅 8200 万参数，可运行在单台 ml.g5.xlarge GPU 实例的实时端点上，容器同时提供 POST /invocations 与 WebSocket 双向流两条路径。
AI 根据报道生成 · 34 分钟前更新
事件进展
- 10月23日 01:45 · 1 篇报道AWS 博客介绍在 SageMaker AI 上流式部署 Kokoro TTSAWS Machine Learning Blog：在 Amazon SageMaker AI 上用 Kokoro TTS 为 AI 智能体流式输出低延迟语音
- 10月23日 00:30 · 1 篇报道AWS博客介绍TTS自动扩缩容目标测量方法AWS Machine Learning Blog：别再猜 Amazon SageMaker AI 上 TTS 的自动扩缩容目标值
报道时间线
沿着报道，了解事件的不同侧面。
- AWS Machine Learning Blog在 Amazon SageMaker AI 上用 Kokoro TTS 为 AI 智能体流式输出低延迟语音
在 Amazon SageMaker AI 上托管的 Kokoro-82M 文本转语音模型可按句流式合成，让 AI 语音智能体在生成第一句时就开始播放音频，而不必等完整回复生成完毕。Kokoro-82M 仅 8200 万参数，可运行在单台 ml.g5.xlarge GPU 实例的实时端点上，容器同时提供 POST /invocations 与 WebSocket 双向流两条路径。
- AWS Machine Learning Blog别再猜 Amazon SageMaker AI 上 TTS 的自动扩缩容目标值
针对 Kokoro-82M（8200 万参数 TTS 模型）在 Amazon SageMaker AI 实时端点上的部署，该方案用实测的 Q_max（单实例在 SLO 内可承受的最高并发）和 T_total（一次完整扩容耗时）通过算术推导出扩容阈值、缩容阈值及两个冷却时间，替代凭猜测设定的自动扩缩容目标。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。