القوة الخفية للمُعاملات: كيف تتغلب على تحيّز الاختيار في اختبارات A/B

المشكلة التي لا يريد أحد رؤيتها

تخيل: شركة تجارة إلكترونية كبيرة تطلق لافتة تصميم جديدة وتقيس متوسط مدة الجلسة. النظرة الأولى على البيانات تعد بالكثير – زيادة بمقدار 0.56 دقيقة (حوالي 33 ثانية لكل جلسة). يبدو واعدًا، أليس كذلك؟ لكن هنا يبدأ مغامرة التحليل الإحصائي العميق.

المعضلة: كم يمكننا أن نكون واثقين أن اللافتة هي السبب الحقيقي لهذا التحسن؟ ماذا لو كان المستخدمون القدامى المتمرسون تقنيًا يرون اللافتة الجديدة بشكل منهجي أكثر من العملاء الجدد؟ الجواب يقودنا إلى مشكلة كلاسيكية في البحث التجريبي – تحيز الاختيار.

اختبار t مقابل الانحدار الخطي: المواجهة الخاطئة

يقدم اختبار t الكلاسيكي هنا بسرعة إجابة. الفرق بين مجموعة التحكم والمجموعة المعالجة هو بالضبط 0.56 دقيقة – انتهى الأمر. لكن خطأ شائع: يعتقد العديد من المحللين أن الانحدار الخطي يخص فقط السيناريوهات الأكثر تعقيدًا. هذا غير صحيح.

ماذا يحدث إذا استخدمنا بدلاً من ذلك انحدار خطي مع حالة اللافتة (1 = مرئي، 0 = غير مرئي) كمتغير مستقل ومدة الجلسة كمخرج؟ بشكل مفاجئ، نحصل على نفس معامل المعالجة: 0.56 دقيقة. ليس صدفة – من الناحية الرياضية، كلا الاختبارين متكافئان تحت هذه الظروف، لأنه يختبران نفس الفرضية الصفرية.

لكن معامل R-مربع يكشف عن مشكلة: بقيمة 0.008 فقط، نوضح أقل من 1% من التباين. النموذج يتجاهل العديد من العوامل الأخرى التي تؤثر فعليًا على مدة بقاء المستخدمين على الصفحة.

المغير للعبة: إضافة المتغيرات التوضيحية

هنا تظهر القوة الحقيقية للانحدار الخطي. عندما نضيف متغيرًا إضافيًا – على سبيل المثال، متوسط مدة الجلسة للمستخدمين قبل التجربة – يتغير كل شيء بشكل دراماتيكي.

يتحسن النموذج بشكل فوري: يرتفع R-مربع إلى 0.86، ونشرح الآن 86% من التباين. والأهم من ذلك: ينخفض تأثير المعالجة إلى 0.47 دقيقة. لماذا؟ المتغير التوضيحي السابق يكشف عن “تأثير تراكمي” – المستخدمون الذين كانت لديهم جلسات طويلة بالفعل يظهرون نمط سلوك يتراكم فيه الاختلافات الصغيرة الأولية إلى تأثيرات كبيرة.

هذه الرؤية حاسمة: كان التأثير الأصلي البالغ 0.56 مبالغًا فيه جزئيًا بسبب تحيز الاختيار. المستخدمون الذين لديهم جلسات أطول بشكل طبيعي لم يُوزعوا عشوائيًا بين المجموعات – بل كانوا يركزون بشكل أكبر في مجموعة المعالجة.

الحقيقة الرياضية: ATE، ATT و SB

للتعبير عن ذلك بشكل رسمي:

• الـ ATE (متوسط تأثير المعالجة): التأثير المتوسط للمعالجة الذي نرغب في تقديره
• الـ ATT (متوسط تأثير المعالجة على المعالجين): التأثير على المستخدمين المعالجين فعليًا – ويُطلق عليه أيضًا ACE (التأثير السببي المتوسط)
• SB (تحيز الاختيار): التحيز الناتج عن الاختيار، والذي يشتت التأثير الحقيقي

الفرق الساذج بين متوسطات المجموعتين يخلط بين هذه القيم:

التقدير الساذج = ATE + SB

باستخدام المتغيرات التوضيحية، يمكننا تقليل التحيز والاقتراب أكثر من التأثير الحقيقي.

التحقق عبر المحاكاة

في تجربة محكومة، حيث يكون التأثير الحقيقي معروفًا (0.5 دقيقة)، يتضح أن: