Согласно отчету Pinwan от 5 сентября, Nous Research объединилась с исследователями из лаборатории EleutherAI и Женевского университета в Швейцарии, чтобы опубликовать статью и анонсировать метод под названием YaRN, который может расширить контекстное окно больших моделей. В статье показано, что YaRN требует меньше шагов маркировки и обучения, чем традиционные методы. Используя этот подход, модели LLaMA могут эффективно использовать и экстраполировать на более длинные контексты, чем позволяло их первоначальное предварительное обучение, превосходя при этом самые современные оконные расширения прошлого. Согласно странице GitHub, контекстные окна LLaMA 2 7B/13B, настроенные с помощью YaRN, могут достигать 64 КБ и 128 КБ соответственно.