Google ने गोपनीय इन्फरेंस के लिए TPU 8tx और लंबे कॉन्टेक्स्ट के लिए TPU 8i Max पेश किया

Google ने अपनी आठवीं पीढ़ी की TPU श्रृंखला में दो और सिस्टम की घोषणा की। कंपनी का कहना है कि इससे एक ही साल में नए TPU सिस्टम की संख्या चार हो गई है। ये अप्रैल में Google Cloud Next पर पेश किए गए TPU 8t (ट्रेनिंग) और TPU 8i (कम-विलंबता वाले रीजनिंग) के साथ जुड़ते हैं। पोस्ट में Google ने उपलब्धता की तारीखें नहीं बताईं।

TPU 8tx का लक्ष्य विनियमित उद्यमों और सरकारों के लिए सुरक्षित, गोपनीय इन्फरेंस और छोटे पैमाने पर ट्रेनिंग है। Google का कहना है कि यह इस्तेमाल के दौरान भी डेटा और मॉडल वेट को हार्डवेयर में सुरक्षित रखता है, TPU 8t सिलिकॉन और 5वीं पीढ़ी के AMD EPYC होस्ट पर आधारित है, और लगभग शून्य प्रदर्शन लागत के साथ TPU 8t की तुलना में 2x तक कम विलंबता देता है।

TPU 8i Max एक पैकेज पर दो TPU 8i चिप लगाता है। Google का कहना है कि इसमें TPU 8i की तुलना में कंप्यूट, SRAM और HBM बैंडविड्थ दोगुनी है, यह बहुत बड़ी कॉन्टेक्स्ट विंडो के लिए बनाया गया है और मौजूदा रैक के आकार में दोगुना सिलिकॉन समा जाता है।

डेवलपरों के लिए सॉफ़्टवेयर। Google का कहना है कि उसने पिछले महीने TorchTPU को ओपन-सोर्स किया, जिससे PyTorch कोड और Hugging Face मॉडल सीधे TPUs पर चलते हैं; vLLM और SGLang के लिए TPU बैकएंड भी उपलब्ध हैं। कंपनी ने यह भी घोषित किया:

• एक ओपन-सोर्स TPU एजेंट सुइट, जो प्रीव्यू में है और Claude Code, Cursor तथा Google Antigravity से जुड़ता है, ताकि TPU पर शुरुआत करने, बाधाओं का पता लगाने और कर्नल ट्यून करने में मदद मिले;
• एक ओपन-सोर्स XLA Serving Engine, जिससे Python में ट्रेनिंग और TPUs, GPUs तथा CPUs पर C++ रनटाइम में सर्विंग की जा सकती है;
• TPU Sync, एक ओपन-सोर्स मॉडल-स्टेट लेयर, जो KV कैश को चिप से बाहर टियर करती है। Google का कहना है कि इससे KV ट्रांसफ़र की विलंबता और पहले टोकन तक का समय 90% से अधिक घटता है;
• Agent Compute Engine, जो निष्क्रिय एजेंट सेशन को रोककर और फिर बहाल करके इन्फ्रास्ट्रक्चर की लागत घटाता है;
• Cloud Pathways और GKE dynamic slicing, दोनों अब Google Kubernetes Engine पर आम तौर पर उपलब्ध हैं। Google का कहना है कि dynamic slicing से जॉब शुरू होने का समय 5x तक घटता है और फ़ॉल्ट रिकवरी 4.5x तक तेज़ होती है।

Google का यह भी कहना है कि उसके vLLM-TorchTPU स्टैक ने InferenceX और AgentX बेंचमार्क पर अत्याधुनिक कीमत-प्रदर्शन हासिल किया; ये Google के अपने दावे हैं।