DeepSpeed v0.19.8 擴充 AutoTP、AutoEP 與加速器支援
- DeepSpeed v0.19.8 為 AutoTP 加入詞彙平行 LM head 與 Embedding，並強化 tied model 和 row-parallel output head 訓練支援。
- AutoEP 新增跨 MoE layers 共用 DeepEP buffer、選擇性區域編譯與融合運算等功能，也調整 checkpoint placement 和 dispatch replay。
- 此版本為 NPU 加入 graph operations、FusedLion、FusedLamb 與 Quantizer 運算，並新增 KLXPU 加速器。
- DeepSpeed 移除 elastic training、Progressive Layer Dropping 與 graph harvesting，並將 APEX amp 列為棄用功能。
本站見解
若工作流程仰賴已移除的功能，升級前需先調整訓練設定或評估是否暫留舊版；APEX amp 也應納入後續遷移規劃。發布說明沒有指出這些功能的替代方案，因此具體遷移方式仍待確認。
擴充 與加 加速 速器 器支 支援 加入 入詞 詞彙 彙平 平行 並強 強化 訓練 練支 新增 增跨 共用 選擇 擇性 性區 區域 域編 編譯 譯與 與融 融合 合運 運算 算等 等功 功能 也調 調整 此版 版本 本為 並新 移除 並將 列為 為棄 棄用 用功 若工 工作 作流 流程 程仰 仰賴 賴已 已移 除的 的功 升級 級前 前需 需先 先調 整訓 練設 設定 定或 或評 評估 估是 是否 否暫 暫留 留舊 舊版 也應 應納 納入 入後 後續 續遷 遷移 移規 規劃 發布 布說 說明 明沒 沒有 有指 指出 出這 這些 些功 能的 的替 替代 代方 方案 因此 此具 具體 體遷 移方 方式 式仍 仍待 待確 確認
來源
- DeepSpeed v0.19.8 Patch Release · DeepSpeed Releases
本文摘要與見解由 AI 自動生成，事實以原文為準。 AI 內容政策