NVIDIA、自動運転車のイノベーションのためのDriveOS LLM SDKを発表

ザック・アンダーソン

2025年03月11日 02:24

NVIDIAは、大規模言語モデルの展開を容易にするために、自律型車両でのDriveOS LLM SDKを導入し、最適化されたパフォーマンスでAI駆動アプリケーションを強化しています。

NVIDIAは、自律車両における大規模言語モデル（LLMs）の展開を簡素化することを目的とした最新のイノベーション、DriveOS LLM SDKを発表しました。この開発は、AI駆動の自動車システムの機能を向上させる上で、重要な飛躍を表しています。

LLMデプロイメントの最適化

DriveOS LLM SDKは、最先端のLLMとビジョン言語モデル(VLMs)の推論をNVIDIAのDRIVE AGXプラットフォームで最適化するために作成されています。堅牢なNVIDIA TensorRT推論エンジン上に構築されたSDKには、LLM固有の最適化が組み込まれており、カスタムアテンションカーネルや量子化技術などが含まれています。これにより、リソース制約の厳しい自動車プラットフォームの要求を満たすことができます。

主な特長とコンポーネント

SDKの主要コンポーネントには、特殊なパフォーマンス用のプラグインライブラリ、多様な入力のシームレスな統合のための効率的なトークナイザー/デトークナイザー、最適化されたテキスト生成および対話タスクのためのCUDAベースのサンプラーが含まれています。デコーダーモジュールは、推論プロセスをさらに強化し、さまざまなNVIDIA DRIVEプラットフォームで柔軟で高性能なLLM展開を可能にします。

サポートされているモデルと精度フォーマット

SDKは、メモリ使用量を削減し、カーネルのパフォーマンスを向上させるために、Llama 3やQwen2などの最新モデルをサポートし、FP16、FP8、NVFP4、INT4などの精度フォーマットを含む一連のモデルをサポートしています。これらの機能は、遅延と効率が最重要視される自動車アプリケーションで効率的にLLMを展開するために不可欠です。

簡略化されたワークフロー

NVIDIAのDriveOS LLM SDKは、複雑なLLM展開プロセスを2つの簡単なステップにまとめます：ONNXモデルのエクスポートとエンジンの構築。この簡略化されたワークフローは、エッジデバイスへの展開を容易にすることを意図しており、幅広い開発者やアプリケーションにアクセス可能にしています。

マルチモーダル機能

SDKは、自動車アプリケーションにおけるマルチモーダル入力のニーズも解決します。Qwen2 VLなどのモデルをサポートし、画像の前処理のためのC++実装も含まれており、ビジョン入力を言語モデルと整合させることで、自律システムにおけるAI機能の範囲を拡大しています。

まとめ

NVIDIA TensorRTエンジンとLLM固有の最適化技術を活用することで、DriveOS LLM SDKはDRIVEプラットフォーム上での高度なLLMおよびVLMの展開に新たな基準を設定します。この取り組みは、自動運転車両におけるAI駆動アプリケーションのパフォーマンスと効率を向上させ、自動車産業の技術革新における重要なマイルストーンを成し遂げることを目指しています。

画像出典:Shutterstock