大型語言模型訓練基礎設施

7 則

ThinkingBox 將資料庫狀態檢查用於代理 RL 訓練

微軟與 Hugging Face 已在 GitHub 公開 ThinkingBox-Training，提供代理後訓練所需的資料選擇、rollout 與獎勵流程。

SageMaker AI 的無伺服器模型客製化訓練工作階段已正式推出；使用者可自行撰寫訓練迴圈，AWS 則負責 GPU 配置、分散式執行、故障復原與 checkpoint 儲存。

Amazon SageMaker AI 的 training session API，讓開發者自行編寫訓練迴圈，並由服務管理 GPU 運算與相關基礎設施。

8 台 DGX Spark 可提供 1 TB 統一記憶體，讓完整的 GLM 5.3 753B 模型能在本機載入。

AWS 示範如何在單一 trn2.48xlarge 上，透過 torchtitan 和 TorchNeuron 訓練 Qwen3；Trainium 會以 PyTorch 裝置的形式提供給 torchtitan 使用。

i14 的 Laplace 3B 使用 Gated Linear Attention，讓每個序列的循環狀態固定為 29.5 MB，不隨上下文長度增加。

DeepSpeed v0.19.8 為 AutoTP 加入詞彙平行 LM head 與 Embedding，並強化 tied model 和 row-parallel output head 訓練支援。