Google mengumumkan perluasan portofolio Unit Pemrosesan Tensor (TPU) generasi kedelapan dengan memperkenalkan dua sistem baru, yakni TPU 8tx dan TPU 8i Max. Menurut SVP dan Chief Technologist AI and Infrastructure Google, Amin Vahdat, peluncuran ini menandai pertama kalinya perusahaan menghadirkan empat sistem TPU dalam kurun waktu satu tahun untuk mendukung pengelolaan beban kerja agen kecerdasan buatan yang kompleks.
Inovasi Sistem TPU 8tx dan TPU 8i Max
Sistem TPU 8tx dirancang khusus untuk inferensi yang aman dan rahasia serta pelatihan skala kecil bagi perusahaan teregulasi dan lembaga pemerintah. Sistem ini menghadirkan keamanan tingkat perangkat keras guna melindungi data sensitif dan bobot model tetap terisolasi saat digunakan aktif, serta dipasangkan dengan CPU AMD EPYC Generasi Kelima. Di sisi lain, sistem TPU 8i Max dikembangkan untuk mengatasi hambatan memori dengan menggabungkan dua cip TPU 8i berlatensi rendah ke dalam satu kemasan tunggal guna menangani jendela konteks yang masif.
Kedua sistem baru ini melengkapi TPU 8t yang berfokus pada pelatihan skala besar dan TPU 8i yang dioptimalkan untuk penalaran waktu nyata. Keempat sistem tersebut kini menawarkan penanganan khusus untuk setiap tahap siklus hidup kecerdasan buatan, mulai dari pelatihan peningkatan skala hingga komputasi rahasia dan kepadatan komputasi tertinggi per rak.
Kemudahan Akses dan Pembaruan Perangkat Lunak
Google berupaya memperluas aksesibilitas TPU bagi para pengembang melalui dukungan terhadap PyTorch, perangkat lunak sumber terbuka, serta alat otomatisasi. Perusahaan telah membuka kode sumber TorchTPU agar kode PyTorch dan model Hugging Face dapat berjalan secara native di atas TPU, didukung oleh mesin penyajian sumber terbuka seperti vLLM dan SGLang.
Selain itu, Google memperkenalkan rangkaian agen TPU sumber terbuka untuk membantu pengembang mengoptimalkan perangkat keras secara instan, serta mesin penyajian XLA untuk melatih model dalam Python dan menyajikannya dalam runtime C++. Untuk efisiensi operasional, perangkat lunak Agent Compute Engine secara otomatis menangguhkan dan melanjutkan sesi yang menganggur guna memangkas biaya infrastruktur, sementara lapisan status model TPU Sync menyatukan hierarki memori guna memangkas latensi transfer secara signifikan.
Pembaruan ekosistem ini juga mencakup ketersediaan umum Cloud Pathways pada Google Kubernetes Engine untuk mengorkestrasi sistem TPU berskala besar dari satu pengendali tunggal. Pengguna kini dapat memanfaatkan fitur pengirisan dinamis GKE menggunakan teknologi *optical circuit switching* guna memangkas waktu mulai pekerjaan dan mempercepat pemulihan dari gangguan perangkat keras.
Sumber: Hacker News: Front Page
