Google 推出 TPU 8tx，支援機密推論；並推出適用於長上下文的 TPU 8i Max

Google 宣布第八代 TPU 系列再添兩款系統，並表示今年推出的新款 TPU 系統已達四款。它們加入了 TPU 8t（訓練）和 TPU 8i（低延遲推理）；這兩款產品於 4 月的 Google Cloud Next 上亮相。Google 未在貼文中提供上市日期。

TPU 8tx 面向需要安全機密推論和小規模訓練的受監管企業與政府機構。Google 表示，即使資料和模型權重正在使用中，也能透過硬體加以保護；它採用 TPU 8t 晶片與第 5 代 AMD EPYC 主機，延遲比 TPU 8t 最多降低 2 倍，且效能損失近乎為零。

TPU 8i Max 將兩個 TPU 8i 晶片整合在同一封裝上。Google 表示，其運算能力、SRAM 和 HBM 頻寬均為 TPU 8i 的兩倍，適用於超大型上下文視窗，並能在現有機櫃占用空間內容納兩倍的晶片。

開發者軟體。 Google 表示，上個月已開源 TorchTPU，讓 PyTorch 程式碼和 Hugging Face 模型可在 TPU 上原生執行，並提供 vLLM 和 SGLang 的 TPU 後端。Google 也宣布：

• 一套目前處於預覽階段的開源 TPU 代理程式工具，可接入 Claude Code、Cursor 和 Google Antigravity，協助使用者開始使用 TPU、診斷瓶頸並調校核心；
• 開源的 XLA Serving Engine，可使用 Python 訓練，並在跨 TPU、GPU 和 CPU 的 C++ 執行環境中提供服務；
• TPU Sync，一個開源模型狀態層，可將 KV 快取分層移出晶片。Google 表示，這能使 KV 傳輸延遲和首個 token 的生成時間降低逾 90%；
• Agent Compute Engine，可暫停並恢復閒置的代理程式工作階段，以降低基礎架構成本；
• Cloud Pathways 和 GKE dynamic slicing，兩者現已在 Google Kubernetes Engine 上全面開放使用。Google 表示，dynamic slicing 可將工作啟動時間縮短最多 5 倍，並讓故障復原速度提升最多 4.5 倍。

Google 也表示，其 vLLM-TorchTPU 技術堆疊在 InferenceX 和 AgentX 基準測試中達到業界頂尖的性價比；以上均為 Google 自行提出的說法。