以 Kokoro TTS 為 AI 代理串流語音
- AWS 示範讓代理每完成一句話，就送往 SageMaker AI 上的 Kokoro-82M 合成語音，不必等整段回覆生成完畢。
- 範例以 SageMaker AI 即時端點提供單次請求與雙向串流兩種路徑；雙向連線可在同一工作階段處理多則訊息。
- 將音訊以 base64 放進 SSE 會增加約三分之一的傳輸量，且接收端須緩衝資料，避免切分位置落在 MP3 音訊框中間。
- 測試中，逐句輸入使 TTS 傳輸的首個音訊位元組平均等待時間改善 52.4%；完整代理案例的 bidi 模式也比 batch 模式更快。
本站見解
若現有前端已採用 SSE，base64 方案可沿用既有管線，但必須處理額外負載與音訊框重組。改用雙向二進位傳輸需要前端支援相應的連線與訊息處理；而 AgentCore 的 JSON 輸出限制仍使回傳給使用者的音訊需要 base64。
代理 理串 串流 流語 語音 示範 範讓 讓代 理每 每完 完成 成一 一句 句話 就送 送往 上的 合成 成語 不必 必等 等整 整段 段回 回覆 覆生 生成 成完 完畢 範例 例以 即時 時端 端點 點提 提供 供單 單次 次請 請求 求與 與雙 雙向 向串 流兩 兩種 種路 路徑 向連 連線 線可 可在 在同 同一 一工 工作 作階 階段 段處 處理 理多 多則 則訊 訊息 將音 音訊 訊以 放進 會增 增加 加約 約三 三分 分之 之一 一的 的傳 傳輸 輸量 且接 接收 收端 端須 須緩 緩衝 衝資 資料 避免 免切 切分 分位 位置 置落 落在 訊框 框中 中間 測試 試中 逐句 句輸 輸入 入使 輸的 的首 首個 個音 訊位 位元 元組 組平 平均 均等 等待 待時 時間 間改 改善 完整 整代 理案 案例 例的 模式 式也 也比 式更 更快 若現 現有 有前 前端 端已 已採 採用 方案 案可 可沿 沿用 用既 既有 有管 管線 但必 必須 須處 理額 額外 外負 負載 載與 與音 框重 重組 改用 用雙 向二 二進 進位 位傳 輸需 需要 要前 端支 支援 援相 相應 應的 的連 線與 與訊 息處 輸出 出限 限制 制仍 仍使 使回 回傳 傳給 給使 使用 用者 者的 的音 訊需
來源
- Stream low-latency speech from AI agents using Kokoro TTS on Amazon SageMaker AI · AWS Machine Learning
本文摘要與見解由 AI 自動生成，事實以原文為準。 AI 內容政策