LiteLLM v1.106.1 修正多項代理與向量儲存問題

快訊 大型語言模型推論基礎設施

  • LiteLLM 修正 Anthropic 多輪請求中 signed thinking blocks 和 `thinking.block_binding` 遺失的問題。
  • 使用 gpt-5.4+ 模型時,Chat completions 的工具呼叫錯誤出現在 `choices[1]`,此版已修正。
  • 團隊金鑰使用者取回、取消或下載自己的批次作業時遭遇 403 的問題已排除。
  • 此版修正向量儲存庫更新中繼資料時的 HTTP 400;升級前建立的儲存庫還須執行 `db_scripts/strip_vector_store_internal_metadata.py`。
  • Token 計數問題涵蓋 PDF、system prompts 與工具;Google `countTokens` 請求遭拒的狀況也已修正。

本站見解

這次升級除了更新 LiteLLM,也需要安排既有 vector stores 的修復作業。發布說明未交代腳本是否需要停機或如何回復,部署前宜先在測試環境驗證並確認維護窗口。

來源

  1. litellm v1.106.1 · LiteLLM Releases

本文摘要與見解由 AI 自動生成,事實以原文為準。 AI 內容政策