Test A/B con poco traffico: che cosa si può fare comunque

In breve

Sotto circa 1.000 azioni obiettivo per variante i risultati A/B non si distinguono dal caso: nei siti piccoli, quindi, praticamente mai.
Cinque metodi funzionano comunque: osservazione degli utenti, prova dei quattro secondi, confronto prima-dopo per trimestri, punti di abbandono e la domanda nel primo colloquio.
Con poco traffico convengono modifiche grandi invece che piccole: una struttura nuova, non un altro colore del pulsante.
Chi vuole comunque fare test A/B li fa sulle liste e-mail invece che sul sito: lì i numeri spesso bastano.

Perché sul piano statistico non funziona

Un test deve mostrare se una modifica funziona o se la differenza è dovuta al caso. Quanti casi servano dipende da due cose: il tasso di partenza e l'entità della differenza attesa.

Un esempio rende chiaro l'ordine di grandezza: con un tasso di partenza del 3 per cento e un aumento sperato al 3,6 per cento — cioè un miglioramento relativo del 20 per cento — servono diverse migliaia di visitatori per variante per separare in modo affidabile la differenza dal caso. Con 300 visitatori al mese il test sarebbe significativo dopo anni, e nel frattempo l'offerta sarà cambiata.

Attenzione Un test interrotto troppo presto perché una variante «è in testa» non è un test ma una conferma di ciò che si presumeva comunque. Con numeri piccoli il testa a testa cambia di continuo: chi si ferma al risultato desiderato ne trova sempre uno.

I cinque metodi che funzionano

1. Guardare cinque persone

Del pubblico di riferimento, con un compito, senza spiegazioni. Dove esitano c'è l'errore. Cinque persone fanno emergere la gran parte dei problemi grossolani.

Impegno: 2 ore · Significatività: alta per l'usabilità

2. La prova dei quattro secondi

Mostrare la pagina, chiuderla dopo quattro secondi e chiedere: di che si trattava, per chi è, che cosa si dovrebbe fare? Chi non sa rispondere non ha capito l'intestazione.

Impegno: 30 minuti · Significatività: alta per l'ingresso

3. Prima-dopo per trimestri

Una modifica grande, poi tre mesi di misurazione e confronto con i tre precedenti. Impreciso, perché intervengono altri fattori, ma con modifiche grandi utilizzabile.

Impegno: basso · Significatività: media

4. Misurare i punti di abbandono

Dove finisce lo scorrimento, dove si interrompe il modulo? Non mostra che cosa sarebbe meglio, ma con precisione dove sta il problema.

Impegno: configurazione una tantum · Significatività: alta per localizzare

5. La domanda nel primo colloquio

«Che cosa l'ha portata a scriverci, e che cosa l'avrebbe quasi trattenuta?» La seconda parte è quella preziosa.

Impegno: nessuno · Significatività: alta, se chiesta con regolarità

Lo sapevi?

Con poco traffico convengono modifiche grandi invece che piccole, e per ragioni di calcolo: più grande è la differenza reale, meno casi servono per riconoscerla.

Un altro colore del pulsante cambia il tasso di qualche punto percentuale ed è, con numeri piccoli, per principio non dimostrabile. Una struttura di pagina completamente diversa può raddoppiare il tasso, e quello si vede anche con 300 visitatori. Chi ha poco traffico dovrebbe cambiare con più coraggio, non con più prudenza.

Dove i test A/B funzionano anche nelle aziende piccole

Luogo	Fattibile?	Nota
Oggetti nelle e-mail	sì	già da qualche centinaio di destinatari grossolanamente utile
Testi degli annunci	sì	molte impressioni, riscontro rapido
Pagina iniziale	di rado	troppo poche azioni obiettivo
Modulo di contatto	no	troppo pochi invii
Pagina dei prezzi	no	troppo pochi casi, dispersione troppo alta

Dalla pratica

Il modo più onesto di trattare i numeri piccoli è non presentare la decisione come il risultato di un test. Se una modifica appare sensata per buoni motivi — modulo più corto, intestazione più chiara, un prezzo invece di nessuno — realizzatela e scrivete su che cosa fondate l'aspettativa.

Dopo tre mesi guardate se la cifra di flusso in entrata si è mossa, sapendo che è un indizio e non una prova. Quell'onestà vale più di un test il cui risultato è un lancio di moneta, perché evita che un numero casuale diventi la base della decisione successiva.

Prompt

Aiutami a decidere come posso valutare una modifica al nostro
sito.

I nostri numeri:
- Visitatori al mese sulla pagina interessata: [numero]
- Azioni obiettivo al mese su quella pagina: [numero]
- Che cosa voglio cambiare: [descrizione]
- Quanto grande mi aspetto l'effetto: [stima]

Compiti:
1. Dimmi se con i nostri numeri un test A/B sarebbe
   significativo. Calcola con un ordine di grandezza e mostra il
   ragionamento. Se no, dillo con chiarezza.
2. Consiglia tra le cinque alternative — osservazione degli
   utenti, prova dei quattro secondi, prima-dopo per trimestri,
   punti di abbandono, domanda nel primo colloquio — le due
   adatte alla mia modifica. Motiva.
3. Valuta se la modifica che ho in mente sia abbastanza grande
   da risultare visibile con i nostri numeri. Se no, proponi una
   versione più coraggiosa.
4. Formula per la prova dei quattro secondi le tre domande che
   dovrei porre.
5. Formula una frase per il nostro report che dica con onestà
   che cosa mostrerà il risultato e che cosa no.

Non inventare valori di confronto di settore.

Conclusione

Con numeri piccoli il classico test A/B non è uno strumento ma una macchina del caso con una patina scientifica. Chi lo usa comunque prende decisioni sulla base di rumore.

Che cosa funziona: guardare cinque persone, la prova dei quattro secondi, i punti di abbandono, la domanda nel primo colloquio, e modifiche coraggiose invece che prudenti, perché le differenze grandi si vedono anche con pochi casi.

Domande frequenti

Da quando i test A/B sono significativi?

Come ordine di grandezza servono diverse migliaia di visitatori per variante, se si vuole migliorare di circa un quinto un tasso di partenza tipico di pochi punti percentuali. Con 300 visitatori al mese un test simile sarebbe significativo solo dopo anni, e nel frattempo l'offerta sarà cambiata.

Che cosa si fa al suo posto?

Cinque metodi: guardare cinque persone del pubblico mentre usano il sito, la prova dei quattro secondi sull'intestazione, un confronto prima-dopo per trimestri con modifiche grandi, la misurazione dei punti di abbandono, e la domanda nel primo colloquio su che cosa avrebbe quasi trattenuto la persona.

Perché con poco traffico bisogna cambiare con più coraggio?

Perché differenze reali più grandi richiedono meno casi per essere riconosciute. Un altro colore del pulsante con numeri piccoli non è per principio dimostrabile; una struttura di pagina completamente diversa può raddoppiare il tasso, e quello si vede anche con poche centinaia di visitatori.

Dove funzionano i test A/B anche nelle aziende piccole?

Negli oggetti delle e-mail, dove già qualche centinaio di destinatari dà indicazioni grossolane, e nei testi degli annunci con molte impressioni. Sul sito — pagina iniziale, modulo di contatto, pagina dei prezzi — le azioni obiettivo di norma non bastano.

Si può interrompere un test quando una variante è in testa?

No. Con numeri piccoli il testa a testa cambia di continuo; chi si ferma al risultato desiderato ne trova sempre uno. Non è un test ma una conferma della propria ipotesi, e il numero casuale diventa la base della decisione successiva.