NVIDIA запускає SDK DriveOS LLM для інновацій у сфері автономних транспортних засобів

Зак Андерсон

11 березня 2025 року 02:24

NVIDIA представляє SDK DriveOS LLM для спрощення впровадження великих мовних моделей в автономних транспортних засобах, покращуючи застосунки на основі штучного інтелекту з оптимізованою продуктивністю.

NVIDIA представила свою останню інновацію, набір інструментів DriveOS LLM SDK, спрямований на спрощення впровадження великих мовних моделей (LLMs) в автономних транспортних засобах. Цей розвиток представляє собою значний стрибок у покращенні можливостей автомобільних систем, що працюють за допомогою штучного інтелекту, за даними NVIDIA.

Оптимізація розгортання LLM

SDK DriveOS LLM розроблений для оптимізації виведення передових LLM та моделей мови бачення (VLMs) на платформі DRIVE AGX від NVIDIA. Заснований на міцному інференційному двигуні NVIDIA TensorRT, SDK включає оптимізації, специфічні для LLM, включаючи власні ядра уваги та техніки квантизації, щоб задовольнити вимоги ресурсоміцних автомобільних платформ.

Основні функції та компоненти

Ключові компоненти SDK включають бібліотеку плагінів для спеціалізованої продуктивності, ефективний токенізатор / дітокенізатор для безшовної інтеграції багатомодових входів та зразок на основі CUDA для оптимізованої генерації тексту та діалогових завдань. Модуль декодування подальше підвищує процес інференції, дозволяючи гнучке, високопродуктивне розгортання LLM на різних платформах NVIDIA DRIVE.

Підтримувані моделі та формати точності

SDK підтримує ряд передових моделей, таких як Llama 3 та Qwen2, із точними форматами, включаючи FP16, FP8, NVFP4 та INT4 для зменшення використання пам’яті та підвищення продуктивності ядра. Ці функції є важливими для ефективного розгортання LLM у автомобільних застосуваннях, де важливі затримка та ефективність.

Спрощений робочий процес

SDK DriveOS LLM від NVIDIA спрощує складний процес впровадження LLM до двох простих кроків: експорт моделі ONNX і побудова двигуна. Цей спрощений робочий процес призначений для сприяння впровадженню на країні пристроїв, що робить його доступним для широкого кола розробників та застосунків.

Багатомодальні можливості

SDK також вирішує потребу в багатомодальних введеннях в автомобільних додатках, підтримуючи моделі, такі як Qwen2 VL. Він включає реалізацію C++ для попередньої обробки зображень, вирівнюючи вхідні візуальні дані з мовними моделями, тим самим розширюючи обсяг можливостей штучного інтелекту в автономних системах.

Висновок

Завдяки двигуну NVIDIA TensorRT та специфічним оптимізаційним технікам LLM SDK DriveOS встановлює новий стандарт для розгортання передових LLMs та VLMs на платформі DRIVE. Ця ініціатива спрямована на покращення продуктивності та ефективності застосунків, що працюють на основі штучного інтелекту в автономних автомобілях, що є важливою віхою в технологічному розвитку автомобільної промисловості.

Джерело зображення: Shutterstock