Gate News Новости, 17 марта, Moonshot выпустила технический отчет Attention Residuals, в котором предложена замена фиксированных остаточных связей в Transformer механизмом внимания. На модели Kimi Linear 48B это позволяет использовать на 25% меньше вычислительных ресурсов при задержке вывода не более чем на 2%. Вчера вечером Илон Маск написал в X: «Впечатляющая работа от Kimi», а официальное аккаунт Moonshot в Weibo ответил: «Твой ракетостроительный проект тоже неплох!».
Этот твит также привел к обсуждению статьи, одного из соавторов которой является Гуанью Чен (Nathan), 17-летний старшеклассник. Другие два соавтора — автор RoPE (вращающего позиционного кодирования) Су Цзяньлинь и первый автор Kimi Linear Чжан Ю. Гуанью Чен присоединился к Moonshot в ноябре 2025 года. Проект Flash Linear Attention на GitHub — его первый шаг в машинном обучении.
Гуанью Чен также ответил в X на обсуждения, отметив, что «написать такую статью, которая сочетает алгоритмы и инфраструктурное проектирование, а также содержит эксперименты и теорию, — это невозможно сделать одному человеку». Все участники команды Kimi вложили усилия, Ю Чжан и Су Цзяньлинь — равные соавторы, и он напомнил, что «не стоит верить слухам».
На его странице в LinkedIn указано, что он учится в школе Huizhou Basis International Park Lane Harbour. Moonshot Academy — организатор хакатона для старшеклассников «Moonshot 48» в марте 2025 года, где Гуанью Чен стал победителем.