Дані 25 лютого від Google Research Institute, випущено нове дослідження Titans. За допомогою введення нового модуля довгострокової пам'яті нейромережі, трьохголової архітектури та оптимізації апаратного забезпечення та інших модулів, при збільшенні лише в 1,8 рази лише обчислювальної потужності, розширили контекстне вікно великої моделі до 2 мільйонів токенів. Titans вирішує не лише бутлежку обчислювальної потужності моделі трансформатора в обробці довгих контекстів, але й вперше досягає точного мислення на 2 мільйони токенів завдяки імітації біологічного дизайну системи пам'яті людини зі стратифікованою механікою.