Tether випустив кросплатформний BitNet LoRA фреймворк, модель з мільярдом параметрів може завершити тонке налаштування на споживацьких пристроях

Techub News повідомляє, що Tether оголосила про запуск кросплатформенного фреймворку для тонкої настройки BitNet LoRA у QVAC Fabric, що забезпечує оптимізацію тренування та інференсу Microsoft BitNet (1-бітовий LLM). Цей фреймворк значно знижує вимоги до обчислювальної потужності та пам’яті, дозволяючи тренувати та тонко налаштовувати моделі з мільярдом параметрів на ноутбуках, споживчих GPU та смартфонах. Вперше реалізовано тонку настройку моделі BitNet на мобільних GPU (включаючи Adreno, Mali та Apple Bionic). Тестування показало, що модель з 125M параметрів може бути налаштована за приблизно 10 хвилин, а модель з 1B — за близько 1 години, а також можливо масштабувати до 13B параметрів на смартфонах. Крім того, цей фреймворк підтримує різнорідне апаратне забезпечення, таке як Intel, AMD та Apple Silicon, і вперше реалізовано тонку настройку 1-бітового LLM LoRA на не-NVIDIA пристроях. За продуктивністю, швидкість інференсу моделей BitNet на мобільних GPU у 2-11 разів перевищує CPU, а обсяг пам’яті, необхідної для зберігання, зменшується до 77.8% у порівнянні з традиційними 16-бітовими моделями. Tether зазначає, що ця технологія може зруйнувати залежність від високопродуктивних обчислювальних ресурсів і хмарної інфраструктури, сприяючи розвитку децентралізованого та локалізованого AI-тренування, а також створюючи основу для нових сценаріїв застосування, таких як федеративне навчання.