Google, gizli çıkarım için TPU 8tx’i ve uzun bağlamlar için TPU 8i Max’i ekledi

Google, sekizinci nesil TPU serisine iki sistem daha eklediğini duyurdu. Şirkete göre böylece tek bir yılda tanıtılan yeni TPU sistemlerinin sayısı dörde çıktı. Bu sistemler, nisan ayında Google Cloud Next’te tanıtılan TPU 8t (eğitim) ve TPU 8i’ye (düşük gecikmeli akıl yürütme) katılıyor. Google, paylaşımında kullanıma sunulma tarihlerini belirtmedi.

TPU 8tx, düzenlemelere tabi işletmeler ve kamu kurumları için güvenli, gizli çıkarım ve küçük ölçekli eğitim hedefliyor. Google, sistemin kullanım sırasında bile verileri ve model ağırlıklarını donanım düzeyinde koruduğunu, 5. nesil AMD EPYC ana makinelerle birlikte TPU 8t silikonunu kullandığını ve performansta neredeyse hiç kayıp olmadan TPU 8t’ye kıyasla 2 kata kadar daha düşük gecikme sunduğunu söylüyor.

TPU 8i Max, iki TPU 8i yongasını tek bir pakette birleştiriyor. Google, TPU 8i’nin iki katı işlem gücü, SRAM ve HBM bant genişliği sunduğunu, çok büyük bağlam pencerelerini hedeflediğini ve mevcut raf alanına iki kat silikon sığdırdığını belirtiyor.

Geliştiricilere yönelik yazılımlar. Google, TorchTPU’yu geçen ay açık kaynaklı hâle getirdiğini; böylece PyTorch kodlarının ve Hugging Face modellerinin TPU’larda yerel olarak çalışabildiğini, ayrıca vLLM ve SGLang için TPU arka uçları sunduğunu söylüyor. Şirket ayrıca şunları duyurdu:

• Claude Code, Cursor ve Google Antigravity’ye bağlanarak TPU’lara geçişi kolaylaştıran, darboğazları teşhis eden ve kernel’ları ayarlayan, önizleme aşamasındaki açık kaynaklı bir TPU ajan paketi;
• Python’da eğitim yapıp TPU’lar, GPU’lar ve CPU’lar arasında bir C++ çalışma zamanında hizmet sunmayı sağlayan açık kaynaklı XLA Serving Engine;
• Google’ın KV aktarım gecikmesini ve ilk token’a kadar geçen süreyi %90’dan fazla azalttığını söylediği, KV önbelleklerini yonga dışı katmanlara taşıyan açık kaynaklı bir model durumu katmanı olan TPU Sync;
• altyapı maliyetlerini azaltmak için boşta kalan ajan oturumlarını askıya alıp yeniden başlatan Agent Compute Engine;
• ikisi de artık Google Kubernetes Engine’de genel kullanıma sunulan Cloud Pathways ve GKE dynamic slicing. Google, dynamic slicing’in iş başlatma sürelerini 5 kata kadar azalttığını ve arıza kurtarma hızını 4,5 kata kadar artırdığını söylüyor.

Google ayrıca vLLM-TorchTPU yığınının InferenceX ve AgentX kıyaslamalarında fiyat-performans açısından son teknoloji düzeyine ulaştığını söylüyor; bunlar Google’ın kendi iddialarıdır.