Como escolher o método estatístico correto em testes A/B: guia de comparação entre regressão linear e outras ferramentas

Além do superficial: por que a regressão linear ainda merece atenção

Na onda de machine learning e deep learning, muitas vezes ignoramos uma ferramenta clássica e poderosa — a regressão linear. Embora os LLMs e arquiteturas avançadas estejam em destaque, a regressão linear continua desempenhando um papel fundamental na análise de dados, especialmente em cenários de testes A/B.

Vamos considerar um caso prático: uma empresa de comércio eletrônico lançou um novo design de banner e precisa avaliar seu impacto na duração média da sessão dos usuários. Coletando dados por meio de um experimento e realizando análises estatísticas, exploraremos várias abordagens para interpretar esses resultados.

Insights rápidos com o T-Test

Começamos com o clássico T-Test. Os dados do experimento mostram um efeito significativo: a diferença entre as médias das amostras do grupo de tratamento e do grupo de controle é de 0,56 minutos, o que significa que os usuários gastaram, em média, 33 segundos a mais no produto.

Esse indicador parece bom, mas ele realmente reflete o impacto real do banner?

Regressão linear: uma análise mais aprofundada

Agora, vamos reanalisar usando regressão linear. Como variável independente, usamos a variável de tratamento (exibição do novo banner ou não), e como variável dependente, o tempo de sessão. O que o resumo do modelo revela?

O coeficiente da variável de tratamento é exatamente 0,56 — consistente com o resultado do T-Test. Curiosamente, o R-quadrado é apenas 0,008, indicando que o modelo explica uma fração muito pequena da variância dos dados.

É só coincidência? Não, de jeito nenhum

Por que esses dois métodos chegam ao mesmo resultado? A resposta está na base matemática de ambos.

Na regressão linear, quando a variável de tratamento é 1, ela representa a média de sessão dos usuários que receberam o tratamento; quando é 0, representa a média dos usuários que não receberam. Portanto, o coeficiente de tratamento é, na prática, a diferença entre as duas médias.

E o teste T para a hipótese nula (que as médias são iguais) é exatamente o mesmo que testar se o coeficiente de tratamento é zero na regressão. Quando a hipótese nula é verdadeira, as estatísticas T e os valores de P calculados por ambos os métodos coincidem.

Por que usar regressão linear então?

Comparar médias de forma simples parece suficiente, mas o mundo real é muito mais complexo.

Na prática, apenas a variável de tratamento pode não explicar toda a variação — há vieses sistemáticos. Por exemplo:

• Usuários antigos tendem a interagir mais frequentemente com novos banners
• Usuários com diferentes características demográficas reagem de formas distintas ao banner

Embora a alocação aleatória ajude a mitigar esses vieses, ela não os elimina completamente. É aí que entra a necessidade de controlar variáveis (covariáveis).

Ao incluir, no modelo, a média de sessões dos usuários antes do experimento como covariável, a performance do modelo melhora imediatamente: o R-quadrado sobe para 0,86, indicando que agora explicamos 86% da variância dos dados.

A nova estimativa do efeito do tratamento é de 0,47 minutos.

Qual número é mais preciso?

Agora temos duas estimativas diferentes do efeito do tratamento: 0,56 e 0,47. Qual delas é mais próxima da realidade?

Em dados simulados, o efeito verdadeiro foi definido como 0,5. Claramente, o valor de 0,47, após o controle de covariáveis, está mais próximo do valor real, com um erro de apenas 0,03. Isso demonstra que controlar variáveis-chave melhora significativamente a precisão das estimativas.