全部內容

快訊 AI 代理基礎設施大型語言模型訓練基礎設施

ThinkingBox 將資料庫狀態檢查用於代理 RL 訓練

微軟與 Hugging Face 已在 GitHub 公開 ThinkingBox-Training,提供代理後訓練所需的資料選擇、rollout 與獎勵流程。

快訊 AI 代理基礎設施

OpenAI Python SDK 擴充 Decisions 型別

Live response 的 question.instructions 現在可使用字串,或由文字、圖片與 JSON 組成的結構化內容。

快訊 語音合成

Amazon Polly 更新生成式語音引擎

Amazon Polly 生成式引擎升級後,語音更自然、富有表現力,並改善數字、地址等內容的朗讀準確度。

快訊 大型語言模型訓練基礎設施AI 代理基礎設施

SageMaker AI 推出可自訂的無伺服器訓練工作階段

SageMaker AI 的無伺服器模型客製化訓練工作階段已正式推出;使用者可自行撰寫訓練迴圈,AWS 則負責 GPU 配置、分散式執行、故障復原與 checkpoint 儲存。

快訊 大型語言模型訓練基礎設施

Amazon SageMaker AI 推出自訂訓練迴圈 API

Amazon SageMaker AI 的 training session API,讓開發者自行編寫訓練迴圈,並由服務管理 GPU 運算與相關基礎設施。

快訊 AI 代理基礎設施

LangChain Core 1.7.0 調整工具呼叫串流參數

LangChain Core 1.7.0 將串流中的工具呼叫參數改以 `tool-call-delta` 片段傳送,而非 `block-delta` 快照。

快訊 AI 代理基礎設施語音辨識大型語言模型推論基礎設施

以 Kokoro TTS 為 AI 代理串流語音

AWS 示範讓代理每完成一句話,就送往 SageMaker AI 上的 Kokoro-82M 合成語音,不必等整段回覆生成完畢。

快訊 GPU 儲存基礎設施

用 NVIDIA KvikIO 確認資料是否直達 GPU 記憶體

NVIDIA GPUDirect Storage(GDS)可讓支援的儲存裝置直接將資料送入 GPU 記憶體,省去經過主機記憶體中轉,並降低 CPU 使用量。

快訊 大型語言模型推論基礎設施

AWS 示範以實測資料設定 SageMaker AI 語音合成自動擴縮

AWS 在 Amazon SageMaker AI 即時端點以自訂容器部署 Kokoro-82M,並用兩項端點實測取代猜測式的自動擴縮設定。

快訊 大型語言模型推論基礎設施大型語言模型訓練基礎設施AI 代理基礎設施

NVIDIA 展示 8 節點 DGX Spark 叢集

8 台 DGX Spark 可提供 1 TB 統一記憶體,讓完整的 GLM 5.3 753B 模型能在本機載入。

快訊 森林製圖

OlmoEarth v1.3 提供全球衛星嵌入向量與互動式探索工具

OlmoEarth v1.3 發布時,同步提供全球預先計算的年度衛星嵌入向量,解析度為 10 公尺,並有 64 維與 128 維版本。

快訊 森林製圖

ForTy 全球森林分類圖追蹤森林類型變化

Google DeepMind、Google Research、WRI 與 IIASA 發布 ForTy 2020,以 10 公尺網格標示全球土地的森林與土地利用類型。

快訊 時間序列預測

IBM Granite 推出四模型時間序列預測集成

Granite Timeseries Ensemble 預設整合四種預訓練 Granite 架構,可在不重新訓練或估算集成權重的情況下產生中位數與分位數預測。

快訊 大型語言模型推論基礎設施

OpenAI Python SDK 3.36.1 修正 WebSocket 與瀏覽器呼叫問題

OpenAI Python SDK 3.36.1 修正 API 行為,讓個別呼叫設定的 WebSocket 查詢參數能生效。

快訊 AI 代理基礎設施

以 AWS PrivateLink 私下連接 Amazon Quick 與企業網路

Amazon Quick 將使用者連線與服務端取資料分開處理:前者透過 AWS PrivateLink VPC 端點,後者則使用 VPC connection。

快訊 AI 代理基礎設施

Deep Insight:將多代理系統部署至正式環境

Deep Insight 是開源的資料分析多代理系統,使用者提供 CSV 與自然語言需求後,系統會產生分析結果及含引用的 DOCX 報告。

快訊 AI 代理基礎設施

LangChain 1.4.7 更新串流事件與追蹤功能

LangChain 1.4.7 加入串流消費端讀取 tool-call-delta 的支援。

快訊 AI 代理基礎設施大型語言模型推論基礎設施

Strands Agents 示範本機與雲端混合式代理架構

Adaptive Agentic Intelligence Framework(AAIF)以 Strands Agents 建立三層流程:本機 SLM 判斷請求類型,例行工作交由本機工具,複雜分析則送往 Amazon Bedrock。

快訊 大型語言模型訓練基礎設施

在 AWS Trainium 上以 torchtitan 訓練 Qwen3

AWS 示範如何在單一 trn2.48xlarge 上,透過 torchtitan 和 TorchNeuron 訓練 Qwen3;Trainium 會以 PyTorch 裝置的形式提供給 torchtitan 使用。

快訊 AI 代理基礎設施

LangChain Perplexity 1.4.2 修正 Agent API 搜尋結果處理

此版更新模型設定檔資料。

快訊 AI 代理基礎設施大型語言模型推論基礎設施

Ollama v0.40.8 加入 Flint 程式碼模型

Ollama v0.40.8 新增 Recursive 的 Flint 程式碼模型,可透過 Ollama 執行。

快訊 AI 代理基礎設施

GitHub 以逐 reference quorum 擴充 Git 儲存架構

GitHub 多數儲存庫已有五個副本中的兩個存放在 Azure,Azure 目前處理約一半的 Git 流量。

快訊 大型語言模型推論基礎設施

OpenAI Python SDK 3.36.0 加入 Vertex AI 支援

3.36.0 版讓 Python SDK 的 Responses API 可搭配 Vertex AI 使用。

快訊 大型語言模型推論基礎設施AI 代理基礎設施

NVIDIA 推出免訓練的關聯式資料預測模型

NVIDIA 推出 Kumo Relational,可直接對關聯式資料庫執行預測查詢,不必為每項任務另行訓練模型或手動設計特徵。

快訊 大型語言模型推論基礎設施

VocabX 以領域化詞彙降低推論成本

Dharma AI 將 VocabX 用於葡萄牙文作文評分,保留 Qwen3-4B 基礎模型及原有資料與訓練流程,改為領域專用詞彙。

快訊 語音辨識

IBM 更新 Granite Speech 語音模型系列

IBM 為 Granite Speech 系列新增 granite-speech-5.0-2b,並更新 granite-speech-5.0-470m-turboctc 與 granite-speech-4.1-2b-plus。

快訊 時間序列預測

NVIDIA Kumo Forecast 結合時序預測與歷史資料檢索

Kumo Forecast 使用 MOMENT-1-large 產生時序表示,再由預測頭轉換成指定預測期的數值。

快訊 AI 代理基礎設施

NVIDIA Sentry 將 AI 代理防護延伸至硬體隔離層

NVIDIA Sentry 是 NVIDIA OpenShell 參考架構的一部分,使用 BlueField-4 在主機之外監控 AI 代理,並管控代理對模型、工具與資料的存取。

快訊 AI 代理基礎設施

NVIDIA OpenShell:在代理執行環境中落實安全與治理

NVIDIA OpenShell 是開源執行環境,透過基礎設施限制 AI 代理可存取的系統與資料,並在執行期間將代理工作負載視為不受信任。

快訊 大型語言模型推論基礎設施

LiteLLM v1.103.7 修正計費追蹤並提供映像簽章驗證

LiteLLM v1.103.7 的 Docker 映像可透過 cosign 驗證,文件提供以固定 commit 或發行標籤取得公鑰的方式。