Tests A/B avec peu de trafic : ce qui reste possible

L'essentiel en bref

En dessous d'environ 1 000 actions cibles par variante, les résultats A/B ne se distinguent pas du hasard – donc pratiquement jamais sur un petit site.
Cinq procédés fonctionnent malgré tout : l'observation d'utilisateurs, le test des quatre secondes, l'avant-après par trimestre, les points d'abandon et la question du premier entretien.
Avec peu de trafic, les grands changements sont plus rentables que les petits – une nouvelle structure, pas une autre couleur de bouton.
Qui veut malgré tout tester en A/B le fait sur les listes d'envoi plutôt que sur le site : les nombres y suffisent souvent.

Pourquoi le calcul ne suit pas

Un test doit montrer si un changement agit ou si l'écart tient au hasard. Le nombre de cas nécessaires dépend de deux choses : le taux de départ et l'ampleur de l'écart attendu.

Un exemple donne l'ordre de grandeur : avec un taux de départ de 3 pour cent et une hausse espérée à 3,6 pour cent – soit 20 pour cent d'amélioration relative – il faut plusieurs milliers de visiteurs par variante pour distinguer l'écart du hasard de façon fiable. À 300 visiteurs par mois, le test ne serait concluant qu'après des années, et d'ici là l'offre aura changé.

Attention Un test interrompu trop tôt parce qu'une variante « est en tête » n'est pas un test mais la confirmation de ce qu'on supposait déjà. Avec de petits nombres, la tête change régulièrement – qui arrête au résultat souhaité en trouve toujours un.

Les cinq procédés qui fonctionnent

1. Regarder cinq personnes faire

Issues de la cible, avec une tâche, sans explication. Là où elles hésitent se trouve le défaut. Cinq personnes révèlent la plus grande part des problèmes grossiers.

Effort : 2 heures · Valeur indicative : élevée pour l'utilisabilité

2. Le test des quatre secondes

Montrer la page, la fermer au bout de quatre secondes, puis demander : de quoi s'agissait-il, pour qui, et que faudrait-il faire ? Qui ne peut pas répondre n'a pas compris l'en-tête.

Effort : 30 minutes · Valeur indicative : élevée pour l'entrée en page

3. L'avant-après par trimestre

Un grand changement, puis trois mois de mesure comparés aux trois mois précédents. Imprécis, car d'autres influences jouent – mais utilisable pour de grands changements.

Effort : faible · Valeur indicative : moyenne

4. Mesurer les points d'abandon

Où le défilement s'arrête-t-il, où le formulaire est-il abandonné ? Cela ne dit pas ce qui serait mieux – mais très précisément où se situe le problème.

Effort : une mise en place unique · Valeur indicative : élevée pour la localisation

5. La question du premier entretien

« Qu'est-ce qui vous a amené à nous écrire – et qu'est-ce qui a failli vous en dissuader ? » La seconde partie est la précieuse.

Effort : aucun · Valeur indicative : élevée si posée régulièrement

Le saviez-vous ?

Avec peu de trafic, les grands changements sont plus rentables que les petits – et pour des raisons de calcul : plus l'écart réel est grand, moins il faut de cas pour le reconnaître.

Une autre couleur de bouton modifie le taux de quelques pour cent et n'est, avec de petits nombres, par principe pas démontrable. Une structure de page entièrement différente peut doubler le taux – et cela se voit aussi à 300 visiteurs. Qui a peu de trafic devrait changer avec plus d'audace, pas avec plus de prudence.

Là où les tests A/B fonctionnent même dans une petite entreprise

Endroit	Faisable ?	Remarque
Objets dans les envois de courriels	oui	grossièrement utilisable dès quelques centaines de destinataires
Textes d'annonces	oui	beaucoup d'affichages, retour rapide
Page d'accueil	rarement	trop peu d'actions cibles
Formulaire de contact	non	trop peu d'envois
Page de prix	non	trop peu de cas, dispersion trop forte

Retour de pratique

La façon la plus honnête de traiter de petits nombres consiste à ne pas présenter la décision comme un résultat de test. Si un changement paraît sensé pour de bonnes raisons – un formulaire plus court, un en-tête plus clair, un prix plutôt qu'aucun –, mettez-le en œuvre et écrivez sur quoi repose votre attente.

Au bout de trois mois, vous regardez si le nombre d'entrées a bougé, en sachant qu'il s'agit d'une indication, pas d'une preuve. Cette honnêteté vaut plus qu'un test dont le résultat est un tirage à pile ou face – parce qu'elle empêche un chiffre aléatoire de devenir la base de la décision suivante.

Prompt

Aide-moi à décider comment évaluer un changement sur notre site.

Nos chiffres :
- Visiteurs par mois sur la page concernée : [nombre]
- Actions cibles par mois sur cette page : [nombre]
- Ce que je veux changer : [description]
- Ampleur de l'effet que j'attends : [estimation]

Tâches :
1. Dis-moi si, avec nos chiffres, un test A/B serait concluant.
   Calcule avec un ordre de grandeur et montre le raisonnement.
   Si non, dis-le clairement.
2. Recommande, parmi les cinq alternatives – observation
   d'utilisateurs, test des quatre secondes, avant-après par
   trimestre, points d'abandon, question du premier entretien –
   les deux qui conviennent à mon changement. Justifie.
3. Juge si mon changement prévu est assez grand pour devenir
   seulement visible avec nos chiffres. Sinon, propose une
   version plus audacieuse.
4. Formule pour le test des quatre secondes les trois questions
   que je devrais poser.
5. Formule pour notre compte rendu une phrase qui dit
   honnêtement ce que le résultat montrera et ce qu'il ne
   montrera pas.

N'invente aucune valeur de référence sectorielle.

Conclusion

Avec de petits nombres, le test A/B classique n'est pas un outil mais une machine à hasard sous vernis scientifique. Qui l'emploie malgré tout décide sur la base du bruit.

Ce qui marche : regarder cinq personnes faire, le test des quatre secondes, les points d'abandon, la question du premier entretien – et des changements audacieux plutôt que prudents, parce que les grands écarts deviennent visibles même avec peu de cas.

Questions fréquentes

À partir de quand un test A/B est-il concluant ?

En ordre de grandeur, il faut plusieurs milliers de visiteurs par variante quand un taux de départ typique de quelques pour cent doit être amélioré d'environ un cinquième. À 300 visiteurs par mois, un tel test ne serait concluant qu'après des années – et d'ici là l'offre aura changé.

Que fait-on à la place ?

Cinq procédés : regarder cinq personnes de la cible utiliser la page, le test des quatre secondes sur l'en-tête, un avant-après par trimestre pour les grands changements, la mesure des points d'abandon, et la question du premier entretien sur ce qui a failli dissuader.

Pourquoi changer avec plus d'audace quand le trafic est faible ?

Parce que des écarts réels plus grands demandent moins de cas pour être reconnus. Une autre couleur de bouton n'est, avec de petits nombres, par principe pas démontrable ; une structure de page entièrement différente peut doubler le taux – et cela se voit aussi avec quelques centaines de visiteurs.

Où les tests A/B fonctionnent-ils dans une petite entreprise ?

Sur les objets des envois de courriels, où quelques centaines de destinataires livrent déjà des indications grossières, et sur les textes d'annonces avec beaucoup d'affichages. Sur le site – page d'accueil, formulaire de contact, page de prix – les actions cibles ne suffisent en règle générale pas.

Peut-on interrompre un test quand une variante est en tête ?

Non. Avec de petits nombres, la tête change régulièrement ; qui arrête au résultat souhaité en trouve toujours un. Ce n'est alors pas un test mais la confirmation de sa propre hypothèse – et le chiffre aléatoire devient la base de la décision suivante.