L'équipe de recherche de ServiceNow a récemment lancé le modèle Apriel-1.6-15B-Thinker, qui est vraiment impressionnant : avec une taille de 15 milliards de paramètres, il parvient à obtenir des performances équivalentes à des modèles de la même catégorie, tout en réduisant sa taille de 15 fois. Encore plus remarquable, 15 % des données de pré-entraînement sont optimisées grâce aux pilotes NVIDIA, une approche d'optimisation de la puissance de calcul qui mérite d'être suivie de près.

Si la voie des petits modèles à haute performance s'avère viable, cela pourrait avoir un impact significatif sur l'ensemble du marché de la puissance de calcul pour l'IA. Après tout, alors que tout le monde dépense actuellement des fortunes pour augmenter le nombre de paramètres, une solution permettant de faire le même travail avec moins de ressources serait forcément plus attrayante.