Концентрированный интеллект: новая семейство моделей Bonsai AI позволяет создавать высокопроизводительный ИИ за пределами дата-центра

Кратко

PrismML вышла из режима скрытности и запустила Bonsai — небольшой модельный ИИ с открытым исходным кодом, который демонстрирует сильный интеллект для своего размера и способен работать на пользовательском оборудовании.

PrismML, исследовательская лаборатория ИИ из Калифорнии, представила новую линейку моделей Bonsai в 1-битном формате, предназначенных для обеспечения продвинутого интеллекта непосредственно устройствам, где люди живут и работают, а не для того, чтобы ограничивать ИИ крупными дата-центрами

Пройдя через исследования, проведенные в Caltech, PrismML заявила, что ее работа сосредоточена на максимизации «плотности интеллекта» — показателя полезных возможностей, которые модель может дать на единицу размера и с учетом занимаемого места при развертывании. Этот подход отличается от традиционной разработки ИИ, которая обычно делает упор на увеличение размера модели и количества параметров, жертвуя развертываемостью и эффективностью.

Флагманская модель лаборатории, 1-bit Bonsai 8B, обладает полноценной 1-битной архитектурой во всех компонентах, включая эмбеддинги, слои внимания, слои MLP и выходную головку, без слоев более высокой точности в качестве резерва. При объеме 1,15 ГБ модель примерно в 14 раз меньше по сравнению с сопоставимыми 16-битными моделями в том же классе параметров, однако PrismML сообщает, что она сохраняет конкурентоспособную производительность на стандартных бенчмарках. Уменьшенный размер позволяет развертывать модель на устройствах вроде iPhone, iPad и Mac, а также на обычных GPU, обеспечивая более быстрый вывод и меньшую загрузку памяти по сравнению с традиционными крупномасштабными моделями.

PrismML подчеркивает, что прорыв заключается не только в производительности, но и в том, где ИИ может работать. Более компактные и эффективные модели позволяют создавать приложения с более низкой задержкой, повышают приватность за счет вычислений на устройстве и сохраняют работоспособность в офлайн-режиме или в средах с ограниченной пропускной способностью

Возможные сценарии применения включают постоянных агентов на устройстве, робототехнику в реальном времени, корпоративных copilots и AI-ориентированные инструменты, разработанные для безопасных или ресурсно-ограниченных сред. PrismML утверждает, что концентрированный интеллект расширяет пространство проектирования для ИИ, делая системы более отзывчивыми, надежными и широко развертываемыми.

Расширение Bonsai: более компактные 1-битные модели повышают эффективность и интеллект для устройств на периферии

Помимо Bonsai 8B, PrismML представила более компактные модели — 1-bit Bonsai 4B и 1.7B, которые переносят те же принципы эффективности и плотности интеллекта на уменьшенные размеры моделей. Ранние демонстрации показывают высокую пропускную способность, энергоэффективность и конкурентную точность на бенчмарках в рамках всей линейки. Лаборатория также отметила, что модели эффективно работают на текущем коммерческом оборудовании, а будущие устройства, оптимизированные под 1-битный вывод, могут обеспечить еще более значительный прирост эффективности.

Выпуск PrismML отражает более широкий сдвиг в разработке ИИ: акцент делается на концентрированном интеллекте и переносимости, а не на одном лишь масштабе. Лаборатория видит будущее, в котором продвинутый ИИ будет работать бесшовно на устройствах как в облаке, так и на периферии, делая интеллектуальные системы доступными там, где они нужны. Модели 1-bit Bonsai доступны по лицензии Apache 2.0, что поддерживает развертывание на устройствах Apple, NVIDIA GPU и на ряде других платформ.