NVIDIA lance le kit de développement logiciel DriveOS LLM pour l'innovation des véhicules autonomes

Zach Anderson

11 mars 2025 02:24

NVIDIA introduit le SDK DriveOS LLM pour faciliter le déploiement de grands modèles de langage dans les véhicules autonomes, améliorant ainsi les applications pilotées par IA avec des performances optimisées.

NVIDIA a dévoilé sa dernière innovation, le kit de développement logiciel DriveOS LLM, visant à simplifier le déploiement de grands modèles linguistiques (LLMs) dans les véhicules autonomes. Ce développement représente un bond significatif dans l’amélioration des capacités des systèmes automobiles pilotés par l’IA, selon NVIDIA.

Optimisation du déploiement LLM

Le SDK DriveOS LLM est conçu pour optimiser l’inférence des LLM de pointe et des modèles de langage de vision (VLMs) sur la plate-forme DRIVE AGX de NVIDIA. Basé sur le moteur d’inférence robuste NVIDIA TensorRT, le SDK intègre des optimisations spécifiques aux LLM, y compris des noyaux d’attention personnalisés et des techniques de quantification, pour répondre aux exigences des plateformes automobiles à ressources limitées.

Caractéristiques clés et composants

Les composants clés du SDK comprennent une bibliothèque de plugins pour des performances spécialisées, un tokenizeur/détokenizer efficace pour une intégration transparente des entrées multimodales, et un échantillonneur basé sur CUDA pour une génération de texte optimisée et des tâches de dialogue. Le module de décodage améliore encore le processus d’inférence, permettant un déploiement LLM flexible et haute performance sur diverses plateformes NVIDIA DRIVE.

Modèles pris en charge et formats de précision

Le SDK prend en charge une gamme de modèles de pointe tels que Llama 3 et Qwen2, avec des formats de précision incluant FP16, FP8, NVFP4 et INT4 pour réduire l’utilisation de la mémoire et améliorer les performances du noyau. Ces fonctionnalités sont cruciales pour déployer efficacement les LLMs dans les applications automobiles où la latence et l’efficacité sont primordiales.

Flux de travail simplifié

Le kit de développement logiciel DriveOS LLM de NVIDIA simplifie le processus complexe de déploiement de LLM en deux étapes simples : exporter le modèle ONNX et construire le moteur. Ce flux de travail simplifié est conçu pour faciliter le déploiement sur les périphériques locaux, le rendant accessible à un plus large éventail de développeurs et d’applications.

Capacités multimodales

Le SDK aborde également le besoin d’entrées multimodales dans les applications automobiles, prenant en charge des modèles tels que Qwen2 VL. Il comprend une implémentation C++ pour le prétraitement d’images, alignant les entrées de vision avec les modèles linguistiques, élargissant ainsi le champ des capacités d’IA dans les systèmes autonomes.

Conclusion

En exploitant le moteur NVIDIA TensorRT et les techniques d’optimisation spécifiques à LLM, le kit de développement logiciel DriveOS LLM établit une nouvelle norme pour le déploiement de LLM avancés et de VLM sur la plateforme DRIVE. Cette initiative est sur le point d’améliorer les performances et l’efficacité des applications pilotées par l’IA dans les véhicules autonomes, marquant ainsi une étape importante dans l’évolution technologique de l’industrie automobile.

Source de l’image : Shutterstock