Comment choisir la bonne méthode statistique dans les tests A/B : guide comparatif entre la régression linéaire et d'autres outils

Au-delà de la surface : pourquoi la régression linéaire reste pertinente

Dans la vague d’apprentissage automatique et de deep learning, nous négligeons souvent un outil classique et puissant — la régression linéaire. Bien que les LLM et les architectures avancées occupent le devant de la scène, la régression linéaire joue toujours un rôle clé dans l’analyse de données, notamment dans les scénarios d’A/B testing.

Considérons un cas pratique : une entreprise de commerce électronique lance une nouvelle bannière et doit évaluer son impact sur la durée moyenne des sessions utilisateur. En collectant des données via une expérience et en effectuant une analyse statistique, nous explorerons plusieurs méthodes pour interpréter ces résultats.

Aperçu rapide avec le T-Test

Utilisons le T-Test classique comme point de départ. Les résultats expérimentaux montrent un effet significatif : la différence de moyenne entre le groupe traité et le groupe témoin est de 0,56 minute, ce qui signifie que les utilisateurs passent en moyenne 33 secondes de plus sur le produit.

Ce chiffre semble bon, mais reflète-t-il vraiment l’impact réel de la bannière ?

Régression linéaire : une analyse approfondie

Passons maintenant à une nouvelle analyse avec la régression linéaire. La variable indépendante est le traitement (affichage ou non de la nouvelle bannière), et la variable dépendante est la durée de session. Que révèle le résumé du modèle ?

Le coefficient de la variable de traitement est précisément 0,56 — cohérent avec le résultat du T-Test. Fait intéressant, la valeur R² n’est que de 0,008, indiquant que ce modèle n’explique qu’une très petite partie de la variance des données.

Est-ce une coïncidence ? Non

Pourquoi ces deux méthodes donnent-elles le même résultat ? La réponse réside dans leur fondement mathématique.

En régression linéaire, lorsque la variable de traitement vaut 1, cela représente la durée moyenne des sessions pour les utilisateurs ayant reçu le traitement ; lorsqu’elle vaut 0, cela correspond à la moyenne pour ceux qui ne l’ont pas reçu. Donc, le coefficient de traitement correspond en réalité à la différence entre deux moyennes.

De plus, l’hypothèse nulle du T-Test (pas de différence entre les deux moyennes) est exactement la même que celle du coefficient de traitement dans la régression. Lorsque l’hypothèse nulle est vraie, les statistiques T et les P-values calculées par les deux méthodes seront forcément identiques.

Pourquoi utiliser encore la régression linéaire ?

Comparer simplement les moyennes semble suffisant, mais le monde réel est bien plus complexe.

En réalité, se limiter à la variable de traitement ne permet pas d’expliquer toutes les variations — des biais systématiques existent souvent. Par exemple :

• Les utilisateurs réguliers interagissent plus fréquemment avec la nouvelle bannière que les nouveaux
• Les réactions à la bannière diffèrent selon les caractéristiques démographiques

Bien que la randomisation atténue ce problème, elle ne l’élimine pas totalement. C’est là que la nécessité de contrôler des variables (covariables) apparaît.

En ajoutant dans le modèle la durée moyenne des sessions avant l’expérience comme covariable, la performance du modèle s’améliore immédiatement : le R² grimpe à 0,86, ce qui signifie que nous expliquons désormais 86% de la variance des données.

La nouvelle estimation de l’effet du traitement est de 0,47 minute.

Quel chiffre est le plus précis ?

Deux estimations différentes du traitement apparaissent : 0,56 et 0,47. Laquelle est la vraie ?

Sur des données simulées réalistes, l’effet réel est fixé à 0,5. Clairement, le résultat de 0,47 après contrôle des covariables est plus proche de la valeur réelle, avec une erreur de seulement 0,03. Cela montre que contrôler les covariables clés permet d’améliorer significativement la précision des estimations.