Google bổ sung TPU 8tx cho suy luận bảo mật và TPU 8i Max cho ngữ cảnh dài

Google công bố thêm hai hệ thống trong dòng TPU thế hệ thứ tám, nâng tổng số hệ thống TPU mới mà hãng cho biết đã ra mắt trong một năm lên bốn. Chúng bổ sung cho TPU 8t (đào tạo) và TPU 8i (suy luận độ trễ thấp), được giới thiệu tại Google Cloud Next hồi tháng 4. Google không nêu ngày mở bán trong bài đăng.

TPU 8tx hướng đến suy luận bảo mật, bảo mật dữ liệu và đào tạo quy mô nhỏ cho các doanh nghiệp thuộc ngành chịu quy định và chính phủ. Google cho biết hệ thống bảo vệ dữ liệu và trọng số mô hình bằng phần cứng ngay cả khi đang được sử dụng, được xây dựng trên silicon TPU 8t cùng máy chủ AMD EPYC thế hệ thứ 5, đồng thời cho độ trễ thấp hơn đến 2 lần so với TPU 8t với mức suy giảm hiệu năng gần như bằng không.

TPU 8i Max đặt hai chip TPU 8i trên cùng một gói. Google cho biết hệ thống có năng lực tính toán, SRAM và băng thông HBM gấp đôi TPU 8i, hướng đến các cửa sổ ngữ cảnh rất lớn và lắp được lượng silicon gấp đôi trong diện tích tủ rack hiện có.

Phần mềm dành cho nhà phát triển. Google cho biết tháng trước hãng đã phát hành mã nguồn mở TorchTPU, nhờ đó mã PyTorch và mô hình Hugging Face chạy nguyên bản trên TPU, cùng các backend TPU cho vLLM và SGLang. Hãng cũng công bố:

• bộ tác nhân TPU mã nguồn mở, hiện ở giai đoạn xem trước, tích hợp với Claude Code, Cursor và Google Antigravity để giúp làm quen với TPU, chẩn đoán nút thắt cổ chai và tinh chỉnh kernel;
• XLA Serving Engine mã nguồn mở, cho phép huấn luyện bằng Python và phục vụ mô hình trong môi trường chạy C++ trên TPU, GPU và CPU;
• TPU Sync, lớp trạng thái mô hình mã nguồn mở chuyển các bộ nhớ đệm KV ra khỏi chip theo từng tầng; Google cho biết công cụ này giảm hơn 90% độ trễ truyền KV và thời gian tạo token đầu tiên;
• Agent Compute Engine, tạm ngưng và tiếp tục các phiên tác nhân không hoạt động để giảm chi phí hạ tầng;
• Cloud Pathways và GKE dynamic slicing, hiện đã được cung cấp rộng rãi trên Google Kubernetes Engine; Google cho biết dynamic slicing giảm thời gian khởi chạy tác vụ đến 5 lần và tăng tốc khôi phục sau sự cố đến 4,5 lần.

Google cũng cho biết ngăn xếp vLLM-TorchTPU của hãng đạt hiệu năng/giá thành hàng đầu trên các benchmark InferenceX và AgentX; đây là những tuyên bố của chính Google.