Menurut laporan Pinwan pada tanggal 5 September, Nous Research bekerja sama dengan EleutherAI Labs dan peneliti di Universitas Jenewa di Swiss untuk menerbitkan makalah berjudul YaRN, yang dapat memperluas jendela konteks model besar. Makalah ini menunjukkan bahwa YaRN memerlukan lebih sedikit langkah pelabelan dan pelatihan dibandingkan metode tradisional. Dengan menggunakan pendekatan ini, model LLaMA dapat secara efisien mengeksploitasi dan melakukan ekstrapolasi ke konteks yang lebih panjang dari yang dimungkinkan oleh pra-pelatihan aslinya, sekaligus melampaui ekstensi jendela yang canggih sebelumnya. Menurut halaman GitHub, jendela konteks LLaMA 2 7B/13B yang disempurnakan menggunakan YaRN masing-masing dapat mencapai 64k dan 128k.