Google、機密推論向けTPU 8txと長文コンテキスト向けTPU 8i Maxを追加

Googleは第8世代TPUシリーズに新たな2つのシステムを発表しました。同社によると、これで1年間に発表した新型TPUシステムは4つになります。4月のGoogle Cloud Nextで発表されたTPU 8t（学習向け）とTPU 8i（低レイテンシ推論向け）に加わる製品です。Googleは投稿で提供開始時期を明らかにしていません。

TPU 8txは、規制対象の企業や政府機関向けに、安全で機密性の高い推論と小規模な学習を想定しています。Googleによると、使用中もデータとモデルの重みをハードウェア上で保護し、第5世代AMD EPYCホストを備えたTPU 8tのシリコンを採用。性能への影響をほぼ伴わず、TPU 8tより最大2倍低いレイテンシを実現します。

TPU 8i Maxは、1つのパッケージにTPU 8iチップを2基搭載します。Googleによると、TPU 8iの2倍の演算能力、SRAM、HBM帯域幅を備え、非常に大きなコンテキストウィンドウを想定しています。既存のラック設置面積はそのままに、シリコンを2倍搭載できます。

開発者向けソフトウェア。 Googleによると、先月TorchTPUをオープンソース化したことで、PyTorchコードやHugging FaceモデルをTPU上でネイティブに実行できるようになり、vLLMとSGLang向けのTPUバックエンドも利用できます。さらに、次の機能も発表しました。

• プレビュー版のオープンソースTPUエージェントスイート。Claude Code、Cursor、Google Antigravityと連携し、TPUの導入、ボトルネックの診断、カーネルのチューニングを支援します。
• オープンソースのXLA Serving Engine。Pythonで学習し、TPU、GPU、CPUで動作するC++ランタイムでサービングできます。
• オープンソースのモデル状態管理レイヤー、TPU Sync。KVキャッシュをチップ外の階層ストレージに移し、KV転送のレイテンシと初回トークン生成までの時間を90%以上削減するとGoogleは述べています。
• Agent Compute Engine。アイドル状態のエージェントセッションを一時停止・再開し、インフラコストを削減します。
• Cloud PathwaysとGKE dynamic slicing。どちらもGoogle Kubernetes Engineで一般提供を開始しました。Googleによると、dynamic slicingはジョブの起動時間を最大5倍短縮し、障害からの復旧を最大4.5倍高速化します。

Googleはまた、vLLM-TorchTPUスタックがInferenceXおよびAgentXベンチマークで最先端の価格性能比を達成したと述べています。これらはGoogle独自の主張です。