AWS SageMaker AI 示範多輪強化學習訓練
- Amazon SageMaker AI 的多輪強化學習（MTRL）會讓託管代理程式執行多步驟任務，再依整個回合的結果更新模型。
- Wordle 範例的訓練資料只提供謎底；代理程式環境和獎勵函式會使用謎底，政策模型則不會看到它。
- 訓練流程以 GRPO 更新 GPT-OSS-20B 的 LoRA adapter，並用遊戲結束時的獎勵衡量結果。
- 在保留字詞的測試集上，模型於中等推理強度、temperature 1.0 的解題率從 61％升至 84％；訓練 token 費用約為 339 美元。
- 訓練驗證在 temperature 0 下顯示的結果與實際服務設定不同，因此文章建議以預定的服務設定評估模型。
本站見解
相較於監督式微調，MTRL 不必先整理正確的動作序列標籤，但工程重心會轉向可靠的任務環境與獎勵設計；範例中的初版獎勵甚至讓失敗回合得分高於部分成功回合。實作時也要把 SageMaker 訓練費用與 AgentCore 執行環境費用分開估算，並避免在訓練工作執行期間重新部署代理程式，否則可能使整個工作失敗。
示範 範多 多輪 輪強 強化 化學 學習 習訓 訓練 的多 會讓 讓託 託管 管代 代理 理程 程式 式執 執行 行多 多步 步驟 驟任 任務 再依 依整 整個 個回 回合 合的 的結 結果 果更 更新 新模 模型 範例 例的 的訓 練資 資料 料只 只提 提供 供謎 謎底 式環 環境 境和 和獎 獎勵 勵函 函式 式會 會使 使用 用謎 政策 策模 型則 則不 不會 會看 看到 到它 練流 流程 程以 並用 用遊 遊戲 戲結 結束 束時 時的 的獎 勵衡 衡量 量結 在保 保留 留字 字詞 詞的 的測 測試 試集 集上 型於 於中 中等 等推 推理 理強 強度 的解 解題 題率 率從 升至 費用 用約 約為 美元 練驗 驗證 證在 下顯 顯示 示的 果與 與實 實際 際服 服務 務設 設定 定不 不同 因此 此文 文章 章建 建議 議以 以預 預定 定的 的服 定評 評估 估模 相較 較於 於監 監督 督式 式微 微調 不必 必先 先整 整理 理正 正確 確的 的動 動作 作序 序列 列標 標籤 但工 工程 程重 重心 心會 會轉 轉向 向可 可靠 靠的 的任 務環 境與 與獎 勵設 設計 例中 中的 的初 初版 版獎 勵甚 甚至 至讓 讓失 失敗 敗回 合得 得分 分高 高於 於部 部分 分成 成功 功回 實作 作時 時也 也要 要把 練費 用與 行環 境費 用分 分開 開估 估算 並避 避免 免在 在訓 練工 工作 作執 行期 期間 間重 重新 新部 部署 署代 否則 則可 可能 能使 使整 個工 作失
來源
- Multi-Turn Reinforcement Learning on Amazon SageMaker AI: A hands-on guide · AWS Machine Learning
本文摘要與見解由 AI 自動生成，事實以原文為準。 AI 內容政策