英伟达推出用于自动驾驶创新的DriveOS LLM SDK

扎克·安德森

2025年3月11日 02:24

NVIDIA推出DriveOS LLM SDK，以促进在自动驾驶车辆中部署大型语言模型，通过优化性能增强基于人工智能的应用程序。

![NVIDIA 推出用于自动驾驶汽车创新的 DriveOS LLM SDK](http://img.gateio.im/social/moments-640ea0fcb3b5ee18827a1ee3ad912a1a019283746574839201

NVIDIA推出了最新的创新，DriveOS LLM SDK，旨在简化自动驾驶车辆中大语言模型)LLMs(的部署。根据NVIDIA的说法，这一发展代表了提升基于人工智能的汽车系统能力的重大飞跃。

优化LLM部署

DriveOS LLM SDK旨在优化最先进的LLMs和视觉语言模型)VLMs(的推理，运行在NVIDIA的DRIVE AGX平台上。基于强大的NVIDIA TensorRT推理引擎构建，该SDK包含LLM特定的优化，包括自定义注意力核和量化技术，以满足资源受限的汽车平台的需求。

关键特性和组件

SDK的关键组件包括专门性能的插件库，用于无缝集成多模输入的高效分词器/解词器，以及用于优化文本生成和对话任务的基于CUDA的采样器。解码器模块进一步增强了推理过程，实现了在各种NVIDIA DRIVE平台上灵活、高性能的LLM部署。)

支持的模型和精度格式

SDK支持一系列尖端模型，如Llama 3和Qwen2，精度格式包括FP16、FP8、NVFP4和INT4，以减少内存使用并增强核心性能。这些功能对于在汽车应用中高效部署LLMs至关重要，其中延迟和效率至关重要。

简化工作流程

NVIDIA的DriveOS LLM SDK将复杂的LLM部署过程简化为两个简单步骤：导出ONNX模型和构建引擎。这种简化的工作流程旨在促进在边缘设备上的部署，使更广泛的开发人员和应用程序可以轻松使用。

多模态能力

SDK还解决了汽车应用中对多模输入的需求，支持Qwen2 VL等模型。它包括用于图像预处理的C++实现，将视觉输入与语言模型对齐，从而拓宽了自动驾驶系统中人工智能能力的范围。

结论

通过利用NVIDIA TensorRT引擎和LLM特定的优化技术，DriveOS LLM SDK为在DRIVE平台上部署先进的LLM和VLM设置了新标准。这一举措旨在提升自动驾驶车辆中基于人工智能的应用的性能和效率，标志着汽车行业技术演变中的重要里程碑。

图片来源：Shutterstock