Zach Anderson
11 Mar 2025 02:24
NVIDIA memperkenalkan SDK DriveOS LLM untuk memudahkan implementasi model bahasa besar di kendaraan otonom, meningkatkan aplikasi AI-driven dengan kinerja yang dioptimalkan.
NVIDIA telah mengungkapkan inovasi terbarunya, SDK DriveOS LLM, yang bertujuan untuk menyederhanakan implementasi model bahasa besar (LLMs) di kendaraan otonom. Pengembangan ini mewakili loncatan signifikan dalam meningkatkan kemampuan sistem otomotif yang didorong AI, menurut NVIDIA.
Mengoptimalkan Penyelenggaraan LLM
SDK DriveOS LLM dirancang untuk mengoptimalkan inferensi LLM terbaru dan model bahasa visi (VLMs) pada platform DRIVE AGX NVIDIA. Dibangun di atas mesin inferensi NVIDIA TensorRT yang tangguh, SDK ini mencakup optimisasi khusus LLM, termasuk kernel perhatian kustom dan teknik kuantisasi, untuk memenuhi tuntutan platform otomotif yang terbatas sumber dayanya.
Fitur dan Komponen Utama
Komponen kunci dari SDK termasuk perpustakaan plugin untuk kinerja khusus, tokenizer/detokenizer yang efisien untuk integrasi mulus input multimodal, dan sampler berbasis CUDA untuk generasi teks yang dioptimalkan dan tugas dialog. Modul decoder lebih lanjut meningkatkan proses inferensi, memungkinkan implementasi LLM yang fleksibel dan tinggi kinerja di berbagai platform NVIDIA DRIVE.
Model-model yang Didukung dan Format Ketelitian
SDK mendukung serangkaian model mutakhir seperti Llama 3 dan Qwen2, dengan format presisi termasuk FP16, FP8, NVFP4, dan INT4 untuk mengurangi penggunaan memori dan meningkatkan kinerja kernel. Fitur-fitur ini sangat penting untuk menerapkan LLM secara efisien dalam aplikasi otomotif di mana latensi dan efisiensi sangat penting.
Alur Kerja Disederhanakan
SDK LLM DriveOS NVIDIA menyederhanakan proses implementasi LLM yang kompleks menjadi dua langkah mudah: mengekspor model ONNX dan membangun mesin. Alur kerja yang disederhanakan ini dirancang untuk memudahkan implementasi pada perangkat edge, sehingga dapat diakses oleh sejumlah pengembang dan aplikasi yang lebih luas.
Kemampuan Multimodal
SDK juga mengatasi kebutuhan input multimodal dalam aplikasi otomotif, mendukung model seperti Qwen2 VL. Ini mencakup implementasi C++ untuk pra-pemrosesan gambar, menyelaraskan input visi dengan model bahasa, sehingga memperluas cakupan kemampuan AI dalam sistem otonom.
Kesimpulan
Dengan memanfaatkan mesin NVIDIA TensorRT dan teknik optimisasi khusus LLM, SDK LLM DriveOS menetapkan standar baru untuk implementasi LLM lanjutan dan VLM pada platform DRIVE. Inisiatif ini siap untuk meningkatkan kinerja dan efisiensi aplikasi AI-driven di kendaraan otonom, menandai tonggak penting dalam evolusi teknologi industri otomotif.
Sumber gambar: Shutterstock
Penafian: Informasi di halaman ini dapat berasal dari pihak ketiga dan tidak mewakili pandangan atau opini Gate. Konten yang ditampilkan hanya untuk tujuan referensi dan bukan merupakan nasihat keuangan, investasi, atau hukum. Gate tidak menjamin keakuratan maupun kelengkapan informasi dan tidak bertanggung jawab atas kerugian apa pun yang timbul akibat penggunaan informasi ini. Investasi aset virtual memiliki risiko tinggi dan rentan terhadap volatilitas harga yang signifikan. Anda dapat kehilangan seluruh modal yang diinvestasikan. Harap pahami sepenuhnya risiko yang terkait dan buat keputusan secara bijak berdasarkan kondisi keuangan serta toleransi risiko Anda sendiri. Untuk detail lebih lanjut, silakan merujuk ke
Penafian.
