AWS 示範以實測資料設定 SageMaker AI 語音合成自動擴縮
- AWS 在 Amazon SageMaker AI 即時端點以自訂容器部署 Kokoro-82M，並用兩項端點實測取代猜測式的自動擴縮設定。
- 方法先測出單一執行個體在符合延遲目標時可承受的併發量 Q_max，再測量新增容量開始服務健康流量所需的時間 T_total。
- 範例測得 Q_max 為 50，T_total 約為 320 秒；工具據此計算擴縮門檻與冷卻時間。
- 部署政策使用 SageMaker AI 發布的 ConcurrentRequestsPerModel 指標，並設有檢查，避免未經實測的設定啟用自動擴縮。
本站見解
相較於沿用為其他工作負載設計的推論設定，自訂容器讓團隊能加入佇列限制並依併發量調整容量，但也增加了容器與部署流程的維護責任。這次測量中，執行個體佈建和映像檔下載佔主要擴容時間，因此縮小映像檔或採用暖容量可能比優化合成程式碼更直接。範例還使用有已知安全公告的舊版 PyTorch，正式部署前應先檢視並更新相依套件。
示範 範以 以實 實測 測資 資料 料設 設定 語音 音合 合成 成自 自動 動擴 擴縮 即時 時端 端點 點以 以自 自訂 訂容 容器 器部 部署 並用 用兩 兩項 項端 點實 測取 取代 代猜 猜測 測式 式的 的自 縮設 方法 法先 先測 測出 出單 單一 一執 執行 行個 個體 體在 在符 符合 合延 延遲 遲目 目標 標時 時可 可承 承受 受的 的併 併發 發量 再測 測量 量新 新增 增容 容量 量開 開始 始服 服務 務健 健康 康流 流量 量所 所需 需的 的時 時間 範例 例測 測得 約為 工具 具據 據此 此計 計算 算擴 縮門 門檻 檻與 與冷 冷卻 卻時 署政 政策 策使 使用 發布 布的 指標 並設 設有 有檢 檢查 避免 免未 未經 經實 測的 的設 定啟 啟用 用自 相較 較於 於沿 沿用 用為 為其 其他 他工 工作 作負 負載 載設 設計 計的 的推 推論 論設 器讓 讓團 團隊 隊能 能加 加入 入佇 佇列 列限 限制 制並 並依 依併 量調 調整 整容 但也 也增 增加 加了 了容 器與 與部 署流 流程 程的 的維 維護 護責 責任 這次 次測 量中 體佈 佈建 建和 和映 映像 像檔 檔下 下載 載佔 佔主 主要 要擴 擴容 容時 因此 此縮 縮小 小映 檔或 或採 採用 用暖 暖容 量可 可能 能比 比優 優化 化合 成程 程式 式碼 碼更 更直 直接 例還 還使 用有 有已 已知 知安 安全 全公 公告 告的 的舊 舊版 正式 式部 署前 前應 應先 先檢 檢視 視並 並更 更新 新相 相依 依套 套件
來源
- Stop guessing auto scaling targets for TTS on Amazon SageMaker AI · AWS Machine Learning
本文摘要與見解由 AI 自動生成，事實以原文為準。 AI 內容政策