اختبار A/B مع قلة الزيارات: ما الذي ينفع رغم ذلك
يحتاج اختبار A/B إلى عدد كافٍ من الحالات ليفصل الصدفة عن الأثر. عند 300 زائر في الشهر يكون هذا الحد بعيد المنال — عندها يصبح كل نتيجة مجرد رمية عملة. خمس طرق أخرى تعطي مع ذلك إشارات مفيدة.
أهم ما في الأمر باختصار
- تحت نحو 1000 إجراء مستهدف لكل نسخة، لا يمكن فصل نتائج A/B عن الصدفة — أي على المواقع الصغيرة عملياً أبداً.
- خمس طرق تنفع رغم ذلك: مراقبة المستخدمين، اختبار الأربع ثوانٍ، مقارنة «قبل وبعد» عبر الأرباع، نقاط المغادرة، والسؤال في المحادثة الأولى.
- عند قلة الزيارات تُجدي التغييرات الكبيرة لا الصغيرة — بنية جديدة، لا لون زر مختلف.
- إن أردت مع ذلك إجراء اختبار A/B، فاختبر على قوائم البريد لا على الموقع: هناك تكون الأرقام كافية غالباً.
لماذا لا يصح ذلك حسابياً
يُفترض أن يبيّن الاختبار ما إذا كان التغيير مؤثراً أم أن الفرق مجرد صدفة. وعدد الحالات اللازمة لذلك يعتمد على أمرين: المعدل الأساسي وحجم الفرق المتوقع.
مثال يوضّح رتبة الحجم: عند معدل أساسي قدره 3 بالمئة وأمل بارتفاع إلى 3.6 بالمئة — أي تحسّن نسبي بمقدار 20 بالمئة — تحتاج لكل نسخة إلى عدة آلاف زائر لفصل الفرق عن الصدفة بشكل موثوق. عند 300 زائر في الشهر يصبح الاختبار ذا دلالة بعد سنوات، وبحلول ذلك الوقت يكون العرض قد تغيّر.
الطرق الخمس التي تنفع
1. راقب خمسة أشخاص
من الجمهور المستهدف، مع مهمة، بلا شرح. حيث يترددون تكمن العلة. خمسة أشخاص يكشفون الجزء الأكبر من المشكلات الفجّة.
الجهد: ساعتان · قوة الدلالة: عالية لسهولة الاستخدام
2. اختبار الأربع ثوانٍ
اعرض الصفحة، أغلِقها بعد أربع ثوانٍ، ثم اسأل: عمّ كانت، ولمن هي، وماذا ينبغي أن تفعل؟ من لا يستطيع الإجابة لم يفهم أعلى الصفحة.
الجهد: 30 دقيقة · قوة الدلالة: عالية للانطباع الأول
3. «قبل وبعد» عبر الأرباع
تغيير كبير واحد، ثم القياس ثلاثة أشهر ومقارنتها بالأشهر الثلاثة التي سبقتها. غير دقيق لأن مؤثرات أخرى تتدخّل — لكنه مفيد مع التغييرات الكبيرة.
الجهد: منخفض · قوة الدلالة: متوسطة
4. قياس نقاط المغادرة
أين ينتهي التمرير، وأين يُهجَر ملء النموذج؟ لا يُظهر ما هو الأفضل — لكنه يُظهر بدقة عالية أين تكمن المشكلة.
الجهد: إعداد لمرة واحدة · قوة الدلالة: عالية لتحديد الموضع
5. السؤال في المحادثة الأولى
«ما الذي دفعك إلى مراسلتنا — وما الذي كاد يمنعك من ذلك؟» الجزء الثاني هو الأثمن.
الجهد: لا شيء · قوة الدلالة: عالية إن سُئل بانتظام
هل كنت تعلم؟
عند قلة الزيارات تُجدي التغييرات الكبيرة لا الصغيرة — ولأسباب حسابية بحتة: كلما كان الفرق الفعلي أكبر، قلّ عدد الحالات اللازمة لكشفه.
لون زر مختلف يغيّر المعدل ببضع نقاط مئوية، وهو من حيث المبدأ غير قابل للإثبات مع الأرقام الصغيرة. بنية صفحة مختلفة تماماً قد تضاعف المعدل — وهذا يُرى حتى عند 300 زائر. من لديه زيارات قليلة عليه أن يغيّر بجرأة أكبر، لا بحذر أكبر.
أين تنفع اختبارات A/B حتى لدى الشركات الصغيرة
| الموضع | قابل للتنفيذ؟ | ملاحظة |
|---|---|---|
| سطور موضوع الرسائل في الإرسال البريدي | نعم | مفيد بشكل تقريبي بدءاً من بضع مئات من المستلمين |
| نصوص الإعلانات | نعم | مرّات ظهور كثيرة، ردّ فعل سريع |
| الصفحة الرئيسية | نادراً | إجراءات مستهدفة قليلة جداً |
| نموذج التواصل | لا | عمليات إرسال قليلة جداً |
| صفحة الأسعار | لا | حالات قليلة جداً، تشتّت كبير جداً |
أصدق طريقة للتعامل مع الأرقام الصغيرة هي ألّا تقدّم القرار على أنه نتيجة اختبار. إن بدا تغيير ما معقولاً لأسباب وجيهة — نموذج أقصر، أعلى صفحة أوضح، سعر بدلاً من لا شيء — فنفّذه واكتب على أي أساس تبني توقعك.
بعد ثلاثة أشهر تنظر هل تحرّك رقم التدفّق الوارد، وتعلم: هذا مؤشر لا دليل. هذه الصراحة تساوي أكثر من اختبار نتيجته رمية عملة، لأنها تمنع رقماً عشوائياً من أن يصبح أساس القرار التالي.
ساعدني في تقرير كيف أقيّم تغييراً على موقعنا. أرقامنا: - الزوّار في الشهر على الصفحة المعنية: [Anzahl] - الإجراءات المستهدفة في الشهر على هذه الصفحة: [Anzahl] - ما أريد تغييره: [Beschreibung] - ما حجم الأثر الذي أتوقعه: [Schätzung] المهام: 1. أخبرني هل سيكون اختبار A/B ذا دلالة عند أرقامنا. احسب بقاعدة تقريبية وأظهر التفكير. إن كان الجواب لا، فقُله بوضوح. 2. أوصِ من بين البدائل الخمسة — مراقبة المستخدمين، اختبار الأربع ثوانٍ، «قبل وبعد» عبر الأرباع، نقاط المغادرة، السؤال في المحادثة الأولى — بالاثنتين اللتين تناسبان تغييري. علّل. 3. قيّم هل تغييري المخطَّط كبير بما يكفي ليصبح مرئياً أصلاً عند أرقامنا. إن لم يكن كذلك، فاقترح صيغة أجرأ. 4. صُغ لاختبار الأربع ثوانٍ الأسئلة الثلاثة التي ينبغي أن أطرحها. 5. صُغ لتقريرنا جملة واحدة تقول بصدق ماذا ستُظهر النتيجة وماذا لن تُظهر. لا تختلق قيماً مرجعية من القطاع.
الخلاصة
مع الأرقام الصغيرة، اختبار A/B التقليدي ليس أداة بل آلة صدفة بطلاء علمي. من يستخدمه رغم ذلك يتّخذ قرارات على أساس الضجيج.
ما ينفع: مراقبة خمسة أشخاص، اختبار الأربع ثوانٍ، نقاط المغادرة، السؤال في المحادثة الأولى — وتغييرات جريئة لا حذرة، لأن الفروق الكبيرة تُرى حتى مع حالات قليلة.
أسئلة شائعة
متى تصبح اختبارات A/B ذات دلالة؟
كرتبة حجم: يلزم عدة آلاف زائر لكل نسخة إذا أُريد تحسين معدل أساسي نموذجي من بضع نقاط مئوية بنحو الخُمس. عند 300 زائر في الشهر لا يصبح مثل هذا الاختبار ذا دلالة إلا بعد سنوات — وبحلول ذلك الوقت يكون العرض قد تغيّر.
ماذا تفعل بدلاً من ذلك؟
خمس طرق: راقب خمسة أشخاص من الجمهور المستهدف أثناء الاستخدام، اختبار الأربع ثوانٍ لأعلى الصفحة، «قبل وبعد» عبر الأرباع مع التغييرات الكبيرة، قياس نقاط المغادرة، والسؤال في المحادثة الأولى عمّا كاد يمنع من التواصل.
لماذا ينبغي التغيير بجرأة أكبر عند قلة الزيارات؟
لأن الفروق الفعلية الأكبر تحتاج حالات أقل لكشفها. لون زر مختلف غير قابل للإثبات من حيث المبدأ مع الأرقام الصغيرة؛ بنية صفحة مختلفة تماماً قد تضاعف المعدل — وهذا يُرى حتى عند بضع مئات من الزوّار.
أين تنفع اختبارات A/B حتى لدى الشركات الصغيرة؟
في سطور موضوع الرسائل في الإرسال البريدي، حيث تعطي بضع مئات من المستلمين إشارات تقريبية، وفي نصوص الإعلانات ذات مرّات الظهور الكثيرة. أما على الموقع — الصفحة الرئيسية، نموذج التواصل، صفحة الأسعار — فالإجراءات المستهدفة لا تكفي عادةً.
هل يجوز إيقاف اختبار إذا تصدّرت إحدى النسخ؟
لا. مع الأرقام الصغيرة تتبدّل الصدارة باستمرار؛ ومن يتوقف عند النتيجة المرغوبة يجدها دائماً. عندها لا يكون اختباراً بل تأكيداً لافتراضك، ويصبح الرقم العشوائي أساس القرار التالي.
تسويق يُعِدّ نفسه بنفسه
النسخة التجريبية من Studio Engine متاحة الآن. احجز مكانك وشارك في تشكيلها منذ البداية.
انضمّ إلى النسخة التجريبية ←