23:41
Google представила Titans: преодоление ограничений вычислительной мощности, расширение контекста
25 февраля Google Research опубликовал новое исследование о Титанах. Благодаря внедрению нового модуля нейронной долговременной памяти, коллаборативной архитектуры с тремя головками и оптимизации аппаратного обеспечения, контекстное окно большой модели расширяется до 2 миллионов токенов с увеличением вычислительной мощности всего в 1,8 раза. Titans не только устраняет узкое место модели Transformer при обработке длинного контекста, но и моделирует иерархический механизм системы памяти человека с помощью биомиметического дизайна, а также впервые реализует точный вывод 2 миллионов токенов в сверхдлинном контексте.
TOKEN-2.16%
- 2

