TPU Google Layani Model AI di Meta, Klaim 700 Token per Detik untuk Kimi K3 di Ironwood

Selama bertahun-tahun, alasan paling praktis memilih GPU Nvidia bukan kecepatan chipnya, melainkan perangkat lunak yang sudah terlanjur dipakai semua orang—dan celah itu mulai dikikis dari dua arah.

Google mengumumkan pada Selasa (20/10/2026) bahwa mesin penyaji model SGLang dan vLLM kini punya versi bawaan PyTorch untuk Cloud TPU, dan salah satunya sudah berjalan di lingkungan produksi Meta. Dalam pengumuman di Google Developers Blog, Zongwei Zhou, pemimpin PyTorch-TPU di Meta, menyebut SGLang-TorchTPU "sedang berjalan di produksi di Meta hari ini". Tom's Hardware mengangkat kabar ini pada Kamis (22/10/2026).

Apa yang sebenarnya diumumkan

Dua mesin inferensi (perangkat lunak yang menjalankan model AI yang sudah dilatih untuk melayani permintaan pengguna) kini bisa berjalan di TPU tanpa melewati JAX, kerangka kerja khas Google. Keduanya bertumpu pada TorchTPU, lapisan yang membuat TPU tampil sebagai perangkat PyTorch biasa. Versi vLLM dikembangkan bersama Inferact, sedangkan SGLang bersama RadixArk, perusahaan rintisan yang didirikan para pembuat SGLang.

Menurut Google, masing-masing mesin mempertahankan penjadwal, pengelola cache, dan server API dari kerangka asalnya, lalu menambahkan implementasi TPU di lapisan bawah. Kedua mesin sudah berjalan di produksi bersama pelanggan pratinjau, dan kodenya tersedia sebagai proyek sumber terbuka di GitHub. Versi berbasis JAX tetap dipelihara.

Klaim performa: 700 token per detik untuk satu pengguna

Google melaporkan model Kimi K3 milik Moonshot AI, dengan 2,8 triliun parameter, dilayani lebih dari 700 token per detik untuk satu pengguna pada TPU Ironwood. Hasil itu memakai kernel Pallas yang menjalankan seluruh langkah dekode sebagai satu kernel. Google juga mengklaim Qwen 3.5 di Ironwood mencatat biaya terendah per juta token di SemiAnalysis InferenceX, yaitu 2,01 sen.

Tom's Hardware menambahkan pembanding dari Inferact: konfigurasi vLLM yang disetel pada 16 TPU Ironwood mencapai angka di atas 700 token per detik untuk Kimi K3 dengan speculative decoding, sedangkan setelan vLLM yang dipublikasikan pada 16 GPU Nvidia GB200 mencapai 452 token per detik. Inferact juga menyatakan kernelnya menghasilkan throughput sekitar 1,4 hingga 2 kali dasar GB200 pada ukuran batch kecil tanpa speculative decoding. Semua angka ini berasal dari pihak yang berkepentingan; blog Google sendiri tidak memuat perbandingan dengan GB200, dan belum ada pengujian independen yang kami temukan.

Meta tidak ingin terkunci satu arsitektur

Jana van Greunen, direktur teknik PyTorch di Meta, mengatakan Meta "tidak boleh dibatasi oleh satu arsitektur perangkat keras". Pernyataan itu dikutip Tom's Hardware. Zhou menyebut SGLang-TorchTPU sebagai "tumpukan penyajian berbasis PyTorch yang sangat matang".

Meta bukan pendatang baru di TPU. SemiAnalysis pernah melaporkan tim riset Meta memakai TPU lewat jembatan PyTorch/XLA lama pada 2020 hingga 2023, sebelum kontrak itu dibatalkan. Tom's Hardware menyebut laporan soal rencana sewa TPU Google Cloud pada 2026 dan pembelian pada 2027, tetapi tidak merinci lokasi TPU produksi Meta yang kini dipakai. Judul artikel Tom's Hardware menyebut TPU "dijual ke pelanggan eksternal untuk pertama kalinya", klaim yang tidak dijelaskan di isi artikelnya, sehingga tidak kami ulang di sini.

Persaingan perangkat lunak makin ramai

Tom's Hardware mencatat bahwa Amazon sehari sebelumnya menyatakan akan membuka kode TorchNeuron, backend PyTorch bawaan untuk chip Trainium2 dan Trainium3, dalam PyTorch Conference. Menurut laporan yang sama, RadixArk berencana menghadirkan dukungan TPU hari pertama untuk model terbuka baru pada kuartal pertama 2027, dimulai dari DeepSeek V4.1 Flash dan Reflection Beam. Mesin inferensi lain yang dibuka kodenya, seperti DeepInfer dari DeepSeek, juga menyasar lebih dari satu jenis chip.

Tom's Hardware tidak memuat tanggapan Nvidia. Ujian berikutnya ada di SGLang Summit 2026 pada 12–13 November di San Francisco: apakah pengembang di luar Meta ikut memindahkan beban kerja mereka ke TPU, atau angka-angka tadi tetap menjadi klaim vendor.