Nvidia Meluncurkan Chip Groq LPX Pertama: Efisiensi Inferensi Per Megawatt Meningkat Hingga 35x Ketika Dikombinasikan dengan Vera Rubin, dan Menampilkan Prototipe Kyber Generasi Berikutnya

Berita Gate, 17 Maret, NVIDIA meluncurkan chip Groq 3 LPU (Unit Pemrosesan Bahasa), ini adalah chip pertama yang dirilis setelah NVIDIA mengakuisisi startup chip inferensi AI Groq sekitar 20 miliar dolar AS pada Desember tahun lalu. Pengiriman diperkirakan akan dimulai pada kuartal ketiga tahun ini. Rak Groq 3 LPX dapat menampung 256 LPU, dilengkapi dengan 128GB SRAM on-chip dan bandwidth interkoneksi ekstensi sebesar 640TB per detik. Menurut pihak resmi, saat dipasang bersama Vera Rubin NVL72, LPX dapat meningkatkan throughput inferensi hingga 35 kali lipat per megawatt, sekaligus membuka potensi pendapatan dari skenario inferensi dengan triliunan parameter dan konteks jutaan token. Jensen Huang menggambarkan kedua prosesor tersebut sebagai “perbedaan ekstrem namun saling menyatu: satu mengejar throughput tinggi, satu lagi mengejar latensi rendah,” memanfaatkan memori on-chip LPX secara besar-besaran untuk memperluas kapasitas memori total model yang tersedia. Rak LPX direncanakan akan diluncurkan bersama platform Vera Rubin pada paruh kedua tahun ini. Selain itu, Jensen Huang juga menampilkan prototipe arsitektur rak generasi berikutnya dengan kode nama Kyber. Kyber akan mengubah tray komputasi 144 GPU menjadi susunan vertikal untuk meningkatkan kepadatan fisik dan mengurangi latensi, dan akan dipasang pada platform pengganti Vera Rubin, Vera Rubin Ultra, yang diperkirakan akan diluncurkan pada tahun 2027.