扎克·安德森
2025年3月11日 02:24
NVIDIA推出DriveOS LLM SDK，以促進在自動駕駛車輛中部署大型語言模型，通過優化性能增強基於人工智能的應用程序。
LLMs(的部署。根據NVIDIA的說法，這一發展代表了提升基於人工智能的汽車系統能力的重大飛躍。
DriveOS LLM SDK旨在優化最先進的LLMs和視覺語言模型)VLMs(的推理，運行在NVIDIA的DRIVE AGX平臺上。基於強大的NVIDIA TensorRT推理引擎構建，該SDK包含LLM特定的優化，包括自定義注意力核和量化技術，以滿足資源受限的汽車平臺的需求。
SDK的關鍵組件包括專門性能的插件庫，用於無縫集成多模輸入的高效分詞器/解詞器，以及用於優化文本生成和對話任務的基於CUDA的採樣器。解碼器模塊進一步增強了推理過程，實現了在各種NVIDIA DRIVE平臺上靈活、高性能的LLM部署。)
SDK支持一系列尖端模型，如Llama 3和Qwen2，精度格式包括FP16、FP8、NVFP4和INT4，以減少內存使用並增強核心性能。這些功能對於在汽車應用中高效部署LLMs至關重要，其中延遲和效率至關重要。
NVIDIA的DriveOS LLM SDK將複雜的LLM部署過程簡化為兩個簡單步驟：導出ONNX模型和構建引擎。這種簡化的工作流程旨在促進在邊緣設備上的部署，使更廣泛的開發人員和應用程序可以輕鬆使用。
SDK還解決了汽車應用中對多模輸入的需求，支持Qwen2 VL等模型。它包括用於圖像預處理的C++實現，將視覺輸入與語言模型對齊，從而拓寬了自動駕駛系統中人工智能能力的範圍。
通過利用NVIDIA TensorRT引擎和LLM特定的優化技術，DriveOS LLM SDK為在DRIVE平臺上部署先進的LLM和VLM設置了新標準。這一舉措旨在提升自動駕駛車輛中基於人工智能的應用的性能和效率，標誌著汽車行業技術演變中的重要里程碑。
圖片來源：Shutterstock
