NVIDIA запускает SDK DriveOS LLM для инноваций в области автономных транспортных средств

Зак Андерсон

11 марта 2025 г. 02:24

NVIDIA представляет SDK DriveOS LLM для облегчения развертывания больших языковых моделей в автономных транспортных средствах, улучшая приложения, работающие на ИИ, с оптимизированной производительностью.

NVIDIA представила свою последнюю инновацию, SDK DriveOS LLM, направленную на упрощение развертывания больших языковых моделей (LLMs) в автономных транспортных средствах. Этот шаг является значительным скачком в улучшении возможностей автомобильных систем, управляемых искусственным интеллектом, по мнению NVIDIA.

Оптимизация развертывания LLM

SDK DriveOS LLM разработан для оптимизации вывода современных LLM и моделей языка зрения (VLMs) на платформе DRIVE AGX от NVIDIA. Построенный на надежном движке вывода NVIDIA TensorRT, SDK включает в себя оптимизации, специфичные для LLM, включая пользовательские ядра внимания и техники квантования, чтобы удовлетворить требования ресурсоемких автомобильных платформ.

Основные функции и компоненты

Основные компоненты SDK включают библиотеку плагинов для специализированной производительности, эффективный токенизатор/детокенизатор для безшовной интеграции мультимодальных входов и сэмплер на основе CUDA для оптимизированной генерации текста и диалоговых задач. Модуль декодера дополнительно улучшает процесс вывода, обеспечивая гибкое, высокопроизводительное развертывание LLM на различных платформах NVIDIA DRIVE.

Поддерживаемые модели и форматы точности

SDK поддерживает ряд передовых моделей, таких как Llama 3 и Qwen2, с точными форматами, включая FP16, FP8, NVFP4 и INT4, для уменьшения использования памяти и повышения производительности ядра. Эти функции крайне важны для эффективного развертывания LLM в автомобильных приложениях, где задержка и эффективность имеют первостепенное значение.

Упрощенный рабочий процесс

SDK DriveOS LLM от NVIDIA упрощает сложный процесс развертывания LLM до двух простых шагов: экспорт модели ONNX и создание двигателя. Этот упрощенный рабочий процесс разработан для облегчения развертывания на краевых устройствах, что делает его доступным для более широкого круга разработчиков и приложений.

Мультимодальные возможности

SDK также решает потребность в мультимодальных входах в автомобильных приложениях, поддерживая модели, такие как Qwen2 VL. Он включает реализацию C++ для предварительной обработки изображений, выравнивая визуальные входы с языковыми моделями, тем самым расширяя область возможностей ИИ в автономных системах.

Заключение

Используя двигатель NVIDIA TensorRT и специфические оптимизационные техники LLM, SDK DriveOS LLM устанавливает новый стандарт для развертывания передовых LLM и VLM на платформе DRIVE. Эта инициатива призвана улучшить производительность и эффективность приложений, управляемых ИИ, в автономных транспортных средствах, что является значительным вехой в технологическом развитии автомобильной промышленности.

Источник изображения: Shutterstock