大型語言模型推論基礎設施

15 則

以 Kokoro TTS 為 AI 代理串流語音

AWS 示範讓代理每完成一句話，就送往 SageMaker AI 上的 Kokoro-82M 合成語音，不必等整段回覆生成完畢。

AWS 在 Amazon SageMaker AI 即時端點以自訂容器部署 Kokoro-82M，並用兩項端點實測取代猜測式的自動擴縮設定。

8 台 DGX Spark 可提供 1 TB 統一記憶體，讓完整的 GLM 5.3 753B 模型能在本機載入。

OpenAI Python SDK 3.36.1 修正 API 行為，讓個別呼叫設定的 WebSocket 查詢參數能生效。

Adaptive Agentic Intelligence Framework（AAIF）以 Strands Agents 建立三層流程：本機 SLM 判斷請求類型，例行工作交由本機工具，複雜分析則送往 Amazon Bedrock。

Ollama v0.40.8 新增 Recursive 的 Flint 程式碼模型，可透過 Ollama 執行。

3.36.0 版讓 Python SDK 的 Responses API 可搭配 Vertex AI 使用。

NVIDIA 推出 Kumo Relational，可直接對關聯式資料庫執行預測查詢，不必為每項任務另行訓練模型或手動設計特徵。

Dharma AI 將 VocabX 用於葡萄牙文作文評分，保留 Qwen3-4B 基礎模型及原有資料與訓練流程，改為領域專用詞彙。

LiteLLM v1.103.7 的 Docker 映像可透過 cosign 驗證，文件提供以固定 commit 或發行標籤取得公鑰的方式。

NVIDIA Omniverse DSX Blueprint 以 OpenUSD 和 Omniverse 程式庫為基礎，提供建立 AI 工廠數位孿生所需的參考資產與工作流程。

此版本為 API 新增組織 webhook 端點，以及使用者個人資料強制執行事件。

i14 的 Laplace 3B 使用 Gated Linear Attention，讓每個序列的循環狀態固定為 29.5 MB，不隨上下文長度增加。

LiteLLM 修正 Anthropic 多輪請求中 signed thinking blocks 和 `thinking.block_binding` 遺失的問題。

加拿大中部與加拿大西部（卡加利）區域可透過 Amazon Bedrock 跨區域推論使用 OpenAI GPT-5.6、GPT-6 與 GPT-6.1 模型。