以 AWS CDK 協調 SageMaker AI 端點自動擴縮
- 若更新 SageMaker AI 即時端點時仍註冊著 Application Auto Scaling 的可擴縮目標，透過 CloudFormation 或 CDK 部署可能會失敗。
- 先手動移除可擴縮目標、再只更新端點設定，部署雖可完成，卻可能讓端點未重新啟用自動擴縮。
- 若手動移除可擴縮目標後又修改擴縮參數，CloudFormation 可能因找不到原資源而更新失敗，甚至無法自動回復。
- 文章提供的 CDK construct 以自訂資源安排先移除擴縮目標、更新端點，再等端點就緒後重新註冊目標並套用擴縮政策。
- ConfigHash 會在端點或自動擴縮設定變更時觸發協調流程；非同步處理器會等待端點及擴縮目標達到可用狀態。
本站見解
相較於原生的 CloudFormation ScalableTarget 與 ScalingPolicy 資源，這個 construct 以自訂資源處理更新順序，但也增加部署元件。範例堆疊會包含 12 個 Lambda 函式及 2 個 Step Functions 狀態機；導入前應將這些由 CDK Provider 產生的資源納入部署盤點，實際費用則需依使用情況評估。
協調 端點 點自 自動 動擴 擴縮 若更 更新 即時 時端 點時 時仍 仍註 註冊 冊著 的可 可擴 縮目 目標 透過 部署 署可 可能 能會 會失 失敗 先手 手動 動移 移除 除可 再只 只更 新端 點設 設定 署雖 雖可 可完 完成 卻可 能讓 讓端 點未 未重 重新 新啟 啟用 用自 若手 標後 後又 又修 修改 改擴 縮參 參數 能因 因找 找不 不到 到原 原資 資源 源而 而更 新失 甚至 至無 無法 法自 動回 回復 文章 章提 提供 供的 以自 自訂 訂資 源安 安排 排先 先移 除擴 再等 等端 點就 就緒 緒後 後重 新註 冊目 標並 並套 套用 用擴 縮政 政策 會在 在端 點或 或自 縮設 定變 變更 更時 時觸 觸發 發協 調流 流程 非同 同步 步處 處理 理器 器會 會等 等待 待端 點及 及擴 標達 達到 到可 可用 用狀 狀態 相較 較於 於原 原生 生的 這個 源處 理更 新順 順序 但也 也增 增加 加部 署元 元件 範例 例堆 堆疊 疊會 會包 包含 函式 式及 態機 導入 入前 前應 應將 將這 這些 些由 產生 的資 源納 納入 入部 署盤 盤點 實際 際費 費用 用則 則需 需依 依使 使用 用情 情況 況評 評估
來源
- Orchestrating SageMaker AI endpoint auto scaling with AWS CDK · AWS Machine Learning
本文摘要與見解由 AI 自動生成，事實以原文為準。 AI 內容政策