От HC до mHC: как DeepSeek использует ограничение на многообразие для улучшения обучения больших моделей

DeepSeek в 2025 году потряс мир благодаря сверхвысокому соотношению цены и качества больших моделей, а теперь, в 2026 году, эта компания продолжает демонстрировать стойкость технологических инноваций. 1 января DeepSeek опубликовала новую статью, в которой предложена архитектура с манifold-ограничениями сверхсвязи (mHC), систематически улучшающая существующие технологии сверхсвязанных сетей (HC) для повышения стабильности обучения больших моделей. Это не только отражает страсть DeepSeek к деталям технологий, но и предвещает более тонкую оптимизацию архитектур больших моделей.

Скрытые проблемы при обучении больших моделей

Технология сверхсвязанных сетей (HC) сама по себе является отличной идеей, но в практике столкнулась с ключевыми проблемами. Архитектура HC увеличивает производительность модели за счет добавления связей, но при этом нарушает свойство тождественного отображения — важное качество нейронных сетей, которое помогает лучше распространять градиенты и сохранять стабильность обучения.

Это приводит к двум непосредственным последствиям:

• Нестабильность обучения: затруднено распространение градиентов, сложнее добиться сходимости модели
• Ограниченная масштабируемость: чем больше модель, тем более выражены проблемы, трудно поддерживать обучение сверхбольших моделей

Для компаний, стремящихся к созданию более крупных и мощных моделей, это — непреодолимый барьер.

Идея решения архитектуры mHC

Решение DeepSeek очень простое: раз HC нарушает свойство тождественного отображения, — восстановим его.

Ключевое нововведение mHC заключается в двух уровнях:

Теоретический уровень

Проецировать пространство остаточных связей HC на определенное многообразие (манifold), восстанавливая свойство тождественного отображения в этом геометрическом пространстве. Звучит сложно, но по сути — с помощью математических ограничений обеспечить, чтобы сеть сохраняла стабильность обучения, несмотря на увеличение связей.

Инженерный уровень

Обеспечить строгую инфраструктурную оптимизацию для повышения эффективности. Это не просто теоретические улучшения, а практическое обеспечение высокой производительности архитектуры при реальном обучении.

По оценкам команды авторов, это улучшение обеспечивает «значительное повышение производительности и превосходную масштабируемость» — то есть модели на базе mHC не только обучаются более стабильно, но и лучше масштабируются на большие размеры.

Почему это важно

На первый взгляд, это техническая статья. Но за ней скрываются несколько важных моментов:

Постоянное совершенствование технологий. В прошлом году DeepSeek потряс индустрию благодаря соотношению цены и качества. Новая статья показывает, что компания не остановилась на коммерческом успехе, а продолжает вкладываться в фундаментальные технологии. Такой фокус — редкое качество.

Углубление архитектурных решений. Конкуренция в области больших моделей уже перешла от «чья модель больше по параметрам» к «чья архитектура лучше». mHC представляет собой более тонкий подход — решать проблемы обучения с помощью более умных конструкций, а не просто наращивать ресурсы.

Направление развития базовых моделей. В статье DeepSeek ясно указала, что mHC «поможет глубже понять топологические архитектурные решения и определить перспективные направления для развития базовых моделей». Это говорит о том, что они рассматривают этот подход как образец для будущего развития больших моделей.

Итог

Публикация архитектуры mHC демонстрирует постоянные инвестиции DeepSeek в технологические инновации. Восстановление свойства тождественного отображения и инженерная оптимизация позволяют решить реальные проблемы HC в обучении больших моделей. Хотя такие фундаментальные улучшения не привлекают столько внимания, как выпуск новых моделей, они важны для продвижения технологий больших моделей вперед. В условиях усиливающейся глобальной конкуренции в области ИИ такие технологические наработки становятся ключевым конкурентным преимуществом компаний.