i14 在 AWS Trainium2 訓練與部署線性注意力模型
- i14 的 Laplace 3B 使用 Gated Linear Attention，讓每個序列的循環狀態固定為 29.5 MB，不隨上下文長度增加。
- i14 與 AWS 將 GLA 實作改為標準 PyTorch 運算，透過 TorchNeuron Native 在 Trainium2 上執行，並保留 GLA 架構與 Muon optimizer。
- 在單一 trn2.48xlarge 上，Laplace 3B 訓練吞吐量約為每秒 120,000 個 token，並維持至第 84,210 步。
- 使用未修改的 vLLM 引擎時，單一 trn2.48xlarge 可在 1,280 個並行序列下，達到每秒 11,544 個輸出 token。
本站見解
相較於 softmax attention 模型會隨上下文累積 KV cache，Laplace 3B 的固定狀態可讓長上下文服務的記憶體用量較容易預估；但壓縮歷史可能影響檢索品質，仍須依工作負載驗證。部署也需要 Trainium2 與 TorchNeuron Native 的支援，且文中數據來自單一 trn2.48xlarge，尚不能據此判斷與 GPU 部署的成本或效能差異。
訓練 練與 與部 部署 署線 線性 性注 注意 意力 力模 模型 使用 讓每 每個 個序 序列 列的 的循 循環 環狀 狀態 態固 固定 定為 不隨 隨上 上下 下文 文長 長度 度增 增加 實作 作改 改為 為標 標準 運算 透過 上執 執行 並保 保留 架構 構與 在單 單一 練吞 吞吐 吐量 量約 約為 為每 每秒 並維 維持 持至 至第 用未 未修 修改 改的 引擎 擎時 可在 個並 並行 行序 列下 達到 到每 個輸 輸出 相較 較於 型會 會隨 文累 累積 的固 定狀 態可 可讓 讓長 長上 文服 服務 務的 的記 記憶 憶體 體用 用量 量較 較容 容易 易預 預估 但壓 壓縮 縮歷 歷史 史可 可能 能影 影響 響檢 檢索 索品 品質 仍須 須依 依工 工作 作負 負載 載驗 驗證 署也 也需 需要 的支 支援 且文 文中 中數 數據 據來 來自 自單 尚不 不能 能據 據此 此判 判斷 斷與 署的 的成 成本 本或 或效 效能 能差 差異
來源
本文摘要與見解由 AI 自動生成，事實以原文為準。 AI 內容政策