Nvidia открывает исходный код модели искусственного интеллекта Nemotron 3 Super объемом 120B, максимальная пропускная способность увеличена в 5 раз

Gate News сообщает, 12 марта NVIDIA выпустила открытый исходный код крупной языковой модели Nemotron 3 Super, разработанной для сценариев многопрограммных агентов. Общий объем параметров модели составляет 120 миллиардов, она использует гибридную архитектуру Mamba-Transformer MoE, при выводе каждый токен активирует всего 12 миллиардов параметров. Основная технология «潜在 MoE» (Latent MoE) позволяет после сжатия векторных представлений токенов в низкоранговое скрытое пространство маршрутизировать их к экспертным сетям, что обеспечивает одновременную активацию 4 экспертов при стоимости вычислений одного эксперта, а пропускная способность при выводе увеличилась до 5 раз по сравнению с предыдущим поколением Nemotron Super. Модель изначально поддерживает окно контекста в 1 миллион токенов, что подходит для автономных агентов, требующих длительного сохранения состояния рабочего процесса. В бенчмарке PinchBench, оценивающем нагрузку на интеллектуальных агентов, Nemotron 3 Super набрала 85,6%, что является высшим результатом среди аналогичных открытых моделей. NVIDIA одновременно открыла обучающий датасет объемом свыше 10 триллионов токенов, 15 сред для обучения с подкреплением и схем оценки, лицензированные по NVIDIA Nemotron Open Model License. Модель уже доступна на платформах Hugging Face, build.nvidia.com, Perplexity, OpenRouter и поддерживается для развертывания через облачные сервисы Google Cloud, Oracle, AWS Bedrock, Azure. Компании Perplexity, CodeRabbit, Cadence, Dassault Systèmes, Siemens и другие уже начали использовать её.