Cách chọn phương pháp thống kê phù hợp trong thử nghiệm A/B: Hướng dẫn so sánh giữa hồi quy tuyến tính và các công cụ khác

Vượt qua bề nổi: Tại sao hồi quy tuyến tính vẫn đáng chú ý

Trong làn sóng của machine learning và deep learning, chúng ta thường bỏ qua một công cụ cổ điển nhưng mạnh mẽ — hồi quy tuyến tính. Mặc dù các mô hình LLM và kiến trúc cao cấp chiếm spotlight, hồi quy tuyến tính vẫn đóng vai trò then chốt trong phân tích dữ liệu, đặc biệt trong các tình huống A/B testing.

Hãy xem xét một ví dụ thực tế: Một công ty thương mại điện tử ra mắt thiết kế banner mới, cần đánh giá tác động của nó đến thời gian trung bình người dùng dành cho phiên truy cập. Qua các thử nghiệm thu thập dữ liệu và phân tích thống kê, chúng ta sẽ khám phá nhiều phương pháp để diễn giải các kết quả này.

Nhận diện nhanh qua T-Test

Bắt đầu với T-Test cổ điển. Dữ liệu thử nghiệm cho thấy hiệu quả rõ ràng: sự chênh lệch trung bình mẫu giữa nhóm xử lý và nhóm đối chứng là 0.56 phút, nghĩa là người dùng trung bình dành thêm 33 giây trên sản phẩm.

Chỉ số này nghe có vẻ ổn, nhưng nó có thực sự phản ánh tác động thực sự của banner không?

Hồi quy tuyến tính: Khám phá sâu hơn

Bây giờ, hãy phân tích lại bằng hồi quy tuyến tính. Sử dụng biến xử lý (có hiển thị banner mới hay không) làm biến độc lập, thời gian phiên làm biến phụ thuộc. Tóm tắt mô hình cho thấy gì?

Hệ số của biến xử lý chính xác là 0.56 — trùng khớp với kết quả T-Test. Thú vị là, R² chỉ là 0.008, cho thấy mô hình này chỉ giải thích một phần rất nhỏ của phương sai dữ liệu.

Chỉ là trùng hợp? Không hẳn

Tại sao hai phương pháp này lại cho ra kết quả giống nhau? Câu trả lời nằm ở nền tảng toán học của chúng.

Trong hồi quy tuyến tính, khi biến xử lý bằng 1, nghĩa là người dùng nhận xử lý, thời gian trung bình của họ là giá trị dự đoán; khi bằng 0, là nhóm không nhận xử lý. Do đó, hệ số xử lý thực chất chính là sự chênh lệch trung bình giữa hai nhóm.

Trong khi đó, giả thuyết không có sự khác biệt giữa hai trung bình trong kiểm định T-Test (giả thuyết null) hoàn toàn trùng khớp với giả thuyết null của hệ số xử lý trong hồi quy. Khi giả thuyết null đúng, cả hai phương pháp sẽ tính toán ra T-statistic và P-value giống hệt nhau.

Tại sao vẫn cần hồi quy tuyến tính?

So sánh trung bình đơn giản nghe có vẻ đủ, nhưng thực tế phức tạp hơn nhiều.

Thực tế, chỉ dựa vào biến xử lý có thể không giải thích hết tất cả biến động — thường tồn tại các sai lệch hệ thống. Ví dụ:

• Người dùng cũ thường tiếp xúc banner mới nhiều hơn
• Các đặc điểm nhân khẩu học khác nhau khiến phản ứng với banner khác nhau

Dù phân phối ngẫu nhiên giúp giảm thiểu vấn đề này, nhưng không thể loại bỏ hoàn toàn. Đó là lý do chúng ta cần kiểm soát các biến (covariates).

Bằng cách thêm vào mô hình trung bình phiên của người dùng trước thử nghiệm như một biến kiểm soát, mô hình ngay lập tức cải thiện: R² tăng vọt lên 0.86, nghĩa là chúng ta giải thích được 86% phương sai dữ liệu.

Ước lượng tác động xử lý mới là 0.47 phút.

Con số nào chính xác hơn?

Hiện tại, có hai ước lượng tác động xử lý khác nhau: 0.56 và 0.47. Con số nào là đúng?

Trong dữ liệu mô phỏng thực tế, tác động xử lý thực sự đặt là 0.5. Rõ ràng, sau khi thêm kiểm soát, 0.47 gần với giá trị thực hơn, sai số chỉ 0.03. Điều này chứng tỏ kiểm soát các biến liên quan quan trọng giúp nâng cao độ chính xác của ước lượng.