NVIDIA ra mắt DriveOS LLM SDK để đổi mới trong xe tự lái

Zach Anderson

Thg 3 11, 2025 02:24

NVIDIA giới thiệu SDK DriveOS LLM để tạo điều kiện cho việc triển khai các mô hình ngôn ngữ lớn trong các phương tiện tự hành, tăng cường ứng dụng dựa trên trí tuệ nhân tạo với hiệu suất tối ưu hóa.

NVIDIA đã ra mắt sáng tạo mới nhất của mình, SDK DriveOS LLM, nhằm mục tiêu đơn giản hóa triển khai các mô hình ngôn ngữ lớn (LLMs) trong các phương tiện tự hành. Sự phát triển này đại diện cho một bước tiến quan trọng trong việc nâng cao khả năng của các hệ thống ô tô dựa trên trí tuệ nhân tạo, theo NVIDIA.

Tối Ưu Hóa Triển Khai LLM

SDK DriveOS LLM được tinh chỉnh để tối ưu hóa suy luận của các mô hình ngôn ngữ tiên tiến và mô hình ngôn ngữ tầm nhìn (VLMs) trên nền tảng DRIVE AGX của NVIDIA. Xây dựng trên cơ sở của bộ suy luận NVIDIA TensorRT mạnh mẽ, SDK tích hợp các tinh chỉnh cụ thể của LLM, bao gồm nhân chú ý tùy chỉnh và kỹ thuật lượng tử hóa, để đáp ứng yêu cầu của các nền tảng ô tô có tài nguyên hạn chế.

Các tính năng và thành phần chính

Các thành phần chính của SDK bao gồm một thư viện plugin cho hiệu suất chuyên biệt, một công cụ tách từ/tái tạo hiệu quả cho việc tích hợp mượt mà của các đầu vào đa phương tiện, và một bộ lấy mẫu dựa trên CUDA cho việc tạo văn bản tối ưu hóa và các nhiệm vụ đối thoại. Mô-đun giải mã cũng tăng cường quá trình suy luận, cho phép triển khai LLM linh hoạt, hiệu suất cao trên các nền tảng NVIDIA DRIVE khác nhau.

Các mô hình được hỗ trợ và định dạng chính xác

SDK hỗ trợ một loạt các mô hình hiện đại như Llama 3 và Qwen2, với định dạng chính xác bao gồm FP16, FP8, NVFP4 và INT4 để giảm việc sử dụng bộ nhớ và tăng hiệu suất nhân. Những tính năng này rất quan trọng để triển khai LLM một cách hiệu quả trong các ứng dụng ô tô nơi mà độ trễ và hiệu quả là điều quan trọng.

Quy trình làm việc đơn giản

SDK NVIDIA DriveOS LLM tiêu chuẩn hóa quy trình triển khai LLM phức tạp thành hai bước đơn giản: xuất mô hình ONNX và xây dựng máy. Quy trình làm việc đơn giản này được thiết kế để tạo điều kiện cho việc triển khai trên các thiết bị cạnh, làm cho nó trở nên dễ truy cập hơn đối với một loạt rộng lớn các nhà phát triển và ứng dụng.

Khả năng đa dạng

SDK cũng giải quyết nhu cầu đầu vào đa dạng trong các ứng dụng ô tô, hỗ trợ các mô hình như Qwen2 VL. Nó bao gồm một triển khai C++ cho việc tiền xử lý hình ảnh, điều chỉnh đầu vào tầm nhìn với các mô hình ngôn ngữ, mở rộng phạm vi khả năng trí tuệ nhân tạo trong các hệ thống tự động.

Kết luận

Bằng cách tận dụng bộ máy NVIDIA TensorRT và các kỹ thuật tối ưu hóa cụ thể của LLM, SDK LLM DriveOS đặt ra một tiêu chuẩn mới cho việc triển khai các LLM và VLM tiên tiến trên nền tảng DRIVE. Sáng kiến này được dự định sẽ nâng cao hiệu suất và hiệu quả của các ứng dụng dựa trên trí tuệ nhân tạo trong các phương tiện tự hành, đánh dấu một cột mốc quan trọng trong quá trình tiến hóa công nghệ của ngành công nghiệp ô tô.

Nguồn hình ảnh: Shutterstock