NVIDIA lanza DriveOS LLM SDK para la innovación de vehículos autónomos

Zach Anderson

11 de marzo de 2025 02:24

NVIDIA presenta el SDK DriveOS LLM para facilitar la implementación de grandes modelos de lenguaje en vehículos autónomos, mejorando las aplicaciones impulsadas por IA con un rendimiento optimizado.

NVIDIA ha presentado su última innovación, el SDK de DriveOS LLM, con el objetivo de simplificar la implementación de grandes modelos de lenguaje LLM en vehículos autónomos. Este desarrollo representa un gran avance en la mejora de las capacidades de los sistemas automotrices impulsados por IA, según NVIDIA.

Optimizando la implementación de LLM

El SDK DriveOS LLM está diseñado para optimizar la inferencia de los LLM de última generación y los modelos de lenguaje visual (VLMs) en la plataforma DRIVE AGX de NVIDIA. Basado en el sólido motor de inferencia NVIDIA TensorRT, el SDK incorpora optimizaciones específicas de LLM, incluyendo núcleos de atención personalizados y técnicas de cuantificación, para satisfacer las demandas de plataformas automotrices con recursos limitados.

Características clave y componentes

Los componentes clave del SDK incluyen una biblioteca de complementos para un rendimiento especializado, un tokenizador / detokenizador eficiente para una integración perfecta de entradas multimodales, y un muestreador basado en CUDA para una generación de texto optimizada y tareas de diálogo. El módulo decodificador mejora aún más el proceso de inferencia, lo que permite una implementación flexible y de alto rendimiento de LLM en varias plataformas NVIDIA DRIVE.

Modelos admitidos y formatos de precisión

El SDK admite una variedad de modelos de vanguardia como Llama 3 y Qwen2, con formatos de precisión que incluyen FP16, FP8, NVFP4 e INT4 para reducir el uso de memoria y mejorar el rendimiento del núcleo. Estas características son cruciales para implementar LLM de manera eficiente en aplicaciones automotrices donde la latencia y la eficiencia son primordiales.

Flujo de trabajo simplificado

El SDK de DriveOS LLM de NVIDIA simplifica el complejo proceso de implementación de LLM en dos pasos sencillos: exportar el modelo ONNX y construir el motor. Este flujo de trabajo simplificado está diseñado para facilitar la implementación en dispositivos periféricos, haciéndolo accesible para un rango más amplio de desarrolladores y aplicaciones.

Capacidades multimodales

El SDK también aborda la necesidad de entradas multimodales en aplicaciones automotrices, compatible con modelos como Qwen2 VL. Incluye una implementación de C++ para el preprocesamiento de imágenes, alineando las entradas de visión con modelos de lenguaje, ampliando así el alcance de las capacidades de IA en sistemas autónomos.

Conclusión

Al aprovechar el motor NVIDIA TensorRT y las técnicas de optimización específicas de LLM, el SDK de DriveOS LLM establece un nuevo estándar para implementar LLM y VLM avanzados en la plataforma DRIVE. Esta iniciativa está lista para mejorar el rendimiento y la eficiencia de las aplicaciones impulsadas por IA en vehículos autónomos, marcando un hito significativo en la evolución tecnológica de la industria automotriz.

Image source: Shutterstock