Senin, 09 November 2026

Google Perluas Jajaran TPU Generasi Kedelapan dengan 8tx dan 8i Max: Empat Sistem dalam Satu Tahun untuk Era Agen AI

Google memperluas lini akselerator AI kustomnya dengan dua varian baru dalam keluarga Tensor Processing Unit (TPU) generasi kedelapan: TPU 8tx untuk komputasi rahasia dan TPU 8i Max untuk jendela konteks masif. Dengan penambahan ini, Google kini memiliki empat sistem TPU dalam satu generasi — TPU 8t, 8i, 8tx, dan 8i Max — yang semuanya diperkenalkan dalam satu tahun kalender, pertama kalinya dalam sejarah TPU. πŸ”— Google Blog: Introducing TPU 8tx and TPU 8i Max

Dua Masalah Baru di Era Agen AI

Menurut Amin Vahdat, Senior Vice President dan Chief Technologist AI dan Infrastruktur Google, lanskap AI tengah berubah dari sekadar model yang menjawab pertanyaan menjadi sistem agen yang otonom, berjalan lama, dan berkolaborasi. Perubahan ini menimbulkan dua tantangan mendesak yang tidak tercakup oleh varian TPU yang ada: keamanan data tingkat perangkat keras untuk beban kerja sensitif, serta kapasitas memori yang cukup untuk jendela konteks jutaan token. πŸ”— Google Blog: Introducing TPU 8tx and TPU 8i Max

TPU 8tx: Komputasi Rahasia untuk Sektor Regulasi

TPU 8tx adalah sistem ketiga dalam generasi kedelapan dan dirancang khusus untuk inferensi rahasia (confidential inference) serta pelatihan skala kecil. Chip ini ditujukan bagi perusahaan di sektor regulasi dan lembaga pemerintah yang menjalankan model frontier atau kepemilikan bersama data paling sensitif. Berbeda dengan pendekatan konvensional di mana data harus didekripsi di memori saat diproses, TPU 8tx menanamkan keamanan langsung pada lapisan perangkat keras sehingga data dan bobot model tetap terenkripsi serta terisolasi bahkan saat digunakan aktif. πŸ”— Google Blog: Introducing TPU 8tx and TPU 8i Max

Dibangun di atas silikon yang sama dengan TPU 8t dan dipasangkan dengan host CPU AMD EPYC generasi kelima, TPU 8tx juga mengadopsi jaringan Boardfly berlatensi rendah yang sama dengan TPU 8i. Hasilnya, latensi multi-langkah agen dapat dipangkas hingga 2x dibanding TPU 8t dengan penalti kinerja hampir nol. Karena menggabungkan daya komputasi pelatihan dengan jaringan inferensi cepat, organisasi dapat menjalankan dan menyesuaikan model pada satu sistem yang sama — termasuk fine-tuning dengan data privat, distilasi model besar ke model kecil, serta pelatihan agen melalui reinforcement learning — tanpa perlu memindahkan data sensitif antar klaster. πŸ”— Google Blog: Introducing TPU 8tx and TPU 8i Max

TPU 8i Max: Menembus Dinding Memori

Varian keempat, TPU 8i Max, mengatasi masalah lain: dinding memori (memory wall). Ketika puluhan agen AI bekerja bersamaan pada seluruh basis kode atau berjam-jam video sekaligus, bandwidth memori menjadi penghambat utama. Google menanggapinya dengan menggabungkan dua chip TPU 8i berlatensi rendah ke dalam satu paket (multi-chip package). TPU 8i Max menskalakan komputasi dan memori secara seimbang, memberikan dua kali lipat komputasi, SRAM, dan bandwidth HBM dibanding TPU 8i, sehingga prosesor tetap teraliri data esensial dan beban kerja besar tidak mengalami hambatan. πŸ”— Google Blog: Introducing TPU 8tx and TPU 8i Max

Karena memuat dua kali lipat silikon dalam jejak rak yang sama, pusat data dapat men-deploy daya komputasi jauh lebih besar per meter persegi dan per watt. Menurut TechTarget yang mengutip Google, TPU 8i Max menyediakan 768 MB SRAM on-chip dan bandwidth HBM 17,2 TB/s, menjadikannya pilihan untuk jendela konteks masif dan kepadatan komputasi tertinggi per rak. πŸ”— TechTarget: Google specializes TPUs for agentic, confidential computing

Portofolio Lengkap Generasi Kedelapan

Keempat sistem dalam generasi kedelapan kini menutup seluruh siklus hidup agen AI:

  • TPU 8t — mesin pelatihan untuk model fondasi skala besar dengan efisiensi "goodput" maksimal (diumumkan 22 April 2026 di Google Cloud Next).
  • TPU 8i — mesin penalaran berlatensi rendah yang memecah dinding memori dengan mengurangi hambatan komunikasi antar-chip (April 2026).
  • TPU 8tx — komputasi rahasia untuk inferensi aman, fine-tuning privat, dan pelatihan agen pada sektor regulasi.
  • TPU 8i Max — jendela konteks masif dan kepadatan komputasi tertinggi per rak untuk beban kerja agen berskala besar.

TPU kini melayani hampir 100 pelanggan, termasuk lab frontier, perusahaan trading, ritel, dan universitas. Google menegaskan keempat sistem ini dirancang bersama Google DeepMind dan semakin dibentuk oleh masukan organisasi eksternal tentang kebutuhan spesifik mereka. πŸ”— Google Blog: Introducing TPU 8tx and TPU 8i Max

Ekosistem Perangkat Lunak dan Aksesibilitas

Selain perangkat keras, Google juga mendorong aksesibilitas TPU melalui tumpukan perangkat lunak terbuka. Perusahaan baru-baru ini merilis TorchTPU sebagai open source sehingga kode PyTorch dan model Hugging Face dapat berjalan native di TPU, beserta backend untuk mesin inferensi vLLM dan SGLang. Suite agen TPU baru (pratinjau) dapat dipasang langsung ke alat pengodean seperti Claude Code, Cursor, dan Google Antigravity untuk mengotomatiskan onboarding, mendiagnosis hambatan, serta menyetel kernel kustom menggunakan bahasa alami. πŸ”— Google Blog: Introducing TPU 8tx and TPU 8i Max

Google juga mengklaim pencapaian state-of-the-art pada benchmark InferenceX dan AgentX untuk beban kerja agen dan konteks panjang, serta memperkenalkan Agent Compute Engine yang secara otomatis menangguhkan sesi agen yang menganggur dan memindahkan memori kerja dari chip dalam milidetik untuk memangkas biaya operasional. Semua angka kinerja ini merupakan klaim Google sendiri dan belum diuji secara independen. πŸ”— Google Blog: Introducing TPU 8tx and TPU 8i Max

Belum ada tanggal ketersediaan maupun harga resmi untuk TPU 8i Max dan TPU 8tx dalam pengumuman Google. Menurut Bloomberg, kedua sistem baru ini diperkirakan tersedia pada 2027. πŸ”— Gizmodo: Google Has Two New Weapons in Its Fight Against Nvidia

Fakta Kunci

  • Empat sistem TPU dalam satu generasi (8t, 8i, 8tx, 8i Max) diperkenalkan dalam satu tahun — pertama kalinya dalam sejarah TPU.
  • TPU 8tx: inferensi rahasia berbasis perangkat keras, latensi hingga 2x lebih rendah dari TPU 8t, cocok untuk sektor regulasi dan pemerintah.
  • TPU 8i Max: dua chip 8i dalam satu paket, 768 MB SRAM on-chip, bandwidth HBM 17,2 TB/s, dua kali lipat komputasi/SRAM/bandwidth dibanding 8i.
  • TPU 8t dan 8i diumumkan 22 April 2026 di Google Cloud Next; 8t untuk pelatihan skala besar, 8i untuk penalaran real-time.
  • TPU kini melayani hampir 100 pelanggan, termasuk lab frontier, perusahaan trading, ritel, dan universitas.
  • Google tidak merilis tanggal ketersediaan maupun harga untuk 8tx dan 8i Max; Bloomberg melaporkan ketersediaan pada 2027.

Sumber

Share This!


Tidak ada komentar:

Posting Komentar

Powered By Blogger · Designed By Adzim Developer