Tests A/B con poco tráfico: qué sí se puede hacer
Un test A/B necesita suficientes casos para separar el azar del efecto. Con 300 visitantes al mes ese umbral es inalcanzable, y cualquier resultado es entonces una moneda al aire. Otros cinco procedimientos sí dan pistas aprovechables.
Lo esencial
- Por debajo de unas 1.000 acciones objetivo por variante, los resultados A/B no se distinguen del azar; es decir, prácticamente nunca en un sitio pequeño.
- Cinco procedimientos sí funcionan: observar a usuarios, el test de los cuatro segundos, el antes y después por trimestres, los puntos de abandono y la pregunta en la primera conversación.
- Con poco tráfico compensan los cambios grandes en lugar de los pequeños: una estructura nueva, no otro color de botón.
- Quien aun así quiera hacer tests A/B, que los haga en las listas de correo y no en la web: allí las cifras suelen bastar.
Por qué no sale la cuenta
Un test debe mostrar si un cambio produce efecto o si la diferencia es azar. Cuántos casos hacen falta depende de dos cosas: la tasa de partida y el tamaño de la diferencia esperada.
Un ejemplo deja clara la magnitud: con una tasa de partida del 3 por ciento y una subida esperada al 3,6 por ciento —es decir, un 20 por ciento de mejora relativa— hacen falta varios miles de visitantes por variante para separar la diferencia del azar con fiabilidad. Con 300 visitantes al mes, el test tendría valor al cabo de años, y para entonces la oferta habrá cambiado.
Los cinco procedimientos que funcionan
1. Observar a cinco personas
Del público objetivo, con una tarea y sin explicaciones. Donde dudan está el fallo. Cinco personas destapan la mayor parte de los problemas gruesos.
Esfuerzo: 2 horas · Valor: alto para la usabilidad
2. El test de los cuatro segundos
Mostrar la página, cerrarla a los cuatro segundos y preguntar: ¿de qué iba, para quién es, qué habría que hacer? Quien no lo sepa responder no ha entendido la cabecera.
Esfuerzo: 30 minutos · Valor: alto para la entrada
3. Antes y después por trimestres
Un cambio grande, luego tres meses de medición comparados con los tres meses anteriores. Impreciso, porque intervienen otras influencias, pero utilizable con cambios grandes.
Esfuerzo: bajo · Valor: medio
4. Medir los puntos de abandono
¿Dónde termina el desplazamiento, dónde se abandona el formulario? No dice qué sería mejor, pero sí con mucha precisión dónde está el problema.
Esfuerzo: una instalación única · Valor: alto para localizar
5. La pregunta en la primera conversación
«¿Qué le llevó a escribirnos, y qué estuvo a punto de disuadirle?» La segunda parte es la valiosa.
Esfuerzo: ninguno · Valor: alto si se pregunta con regularidad
¿Sabías que…?
Con poco tráfico compensan los cambios grandes en lugar de los pequeños, y por razones de cálculo: cuanto mayor es la diferencia real, menos casos hacen falta para reconocerla.
Otro color de botón cambia la tasa en unos pocos por ciento y, con cifras pequeñas, es por principio indemostrable. Una estructura de página completamente distinta puede duplicar la tasa, y eso se ve incluso con 300 visitantes. Quien tiene poco tráfico debería cambiar con más valentía, no con más prudencia.
Dónde sí funcionan los tests A/B en una empresa pequeña
| Lugar | ¿Viable? | Observación |
|---|---|---|
| Asuntos en los envíos de correo | sí | aproximadamente utilizable desde unos cientos de destinatarios |
| Textos de anuncios | sí | muchas impresiones, respuesta rápida |
| Página de inicio | rara vez | demasiado pocas acciones objetivo |
| Formulario de contacto | no | demasiado pocos envíos |
| Página de precios | no | pocos casos, dispersión demasiado alta |
La forma más honesta de manejar cifras pequeñas es no presentar la decisión como un resultado de test. Si un cambio parece sensato por buenas razones —un formulario más corto, una cabecera más clara, un precio en lugar de ninguno—, aplicadlo y anotad en qué apoyáis la expectativa.
A los tres meses miráis si la cifra de entrada se ha movido, sabiendo que eso es una pista, no una prueba. Esa honestidad vale más que un test cuyo resultado es una moneda al aire, porque evita que una cifra casual se convierta en la base de la siguiente decisión.
Ayúdame a decidir cómo evaluar un cambio en nuestra web. Nuestras cifras: - Visitantes al mes en la página afectada: [número] - Acciones objetivo al mes en esa página: [número] - Qué quiero cambiar: [descripción] - Qué efecto espero: [estimación] Tareas: 1. Dime si con nuestras cifras un test A/B tendría valor. Calcula con una magnitud aproximada y muestra el razonamiento. Si no, dilo con claridad. 2. Recomienda, de las cinco alternativas —observación de usuarios, test de los cuatro segundos, antes y después por trimestres, puntos de abandono, pregunta en la primera conversación—, las dos que encajan con mi cambio. Justifícalo. 3. Valora si mi cambio previsto es lo bastante grande para llegar a verse con nuestras cifras. Si no, propón una versión más valiente. 4. Formula para el test de los cuatro segundos las tres preguntas que debería hacer. 5. Formula una frase para nuestro informe que diga con honestidad qué mostrará el resultado y qué no. No inventes valores de referencia del sector.
Conclusión
Con cifras pequeñas, el test A/B clásico no es una herramienta sino una máquina de azar con barniz científico. Quien lo usa igualmente decide sobre ruido.
Lo que funciona: observar a cinco personas, el test de los cuatro segundos, los puntos de abandono, la pregunta en la primera conversación, y cambios valientes en lugar de prudentes, porque las diferencias grandes se ven incluso con pocos casos.
Preguntas frecuentes
¿A partir de cuándo tienen valor los tests A/B?
Como orden de magnitud hacen falta varios miles de visitantes por variante cuando una tasa de partida típica de pocos por ciento debe mejorar alrededor de un quinto. Con 300 visitantes al mes, un test así solo tendría valor al cabo de años, y para entonces la oferta habrá cambiado.
¿Qué se hace en su lugar?
Cinco procedimientos: observar a cinco personas del público objetivo mientras usan la página, el test de los cuatro segundos sobre la cabecera, un antes y después por trimestres para cambios grandes, la medición de los puntos de abandono, y la pregunta en la primera conversación sobre qué estuvo a punto de disuadir.
¿Por qué cambiar con más valentía cuando hay poco tráfico?
Porque diferencias reales mayores necesitan menos casos para reconocerse. Otro color de botón es, con cifras pequeñas, indemostrable por principio; una estructura de página completamente distinta puede duplicar la tasa, y eso se ve también con unos cientos de visitantes.
¿Dónde funcionan los tests A/B en una empresa pequeña?
En los asuntos de los envíos de correo, donde unos cientos de destinatarios ya dan pistas aproximadas, y en textos de anuncios con muchas impresiones. En la web —inicio, formulario de contacto, página de precios— las acciones objetivo no suelen bastar.
¿Se puede interrumpir un test si una variante va por delante?
No. Con cifras pequeñas el liderazgo cambia continuamente; quien corta al llegar al resultado deseado siempre encuentra uno. Eso no es un test sino la confirmación de la propia hipótesis, y la cifra casual se convierte en la base de la siguiente decisión.
Marketing que se configura solo
La beta del Studio Engine está abierta. Reserva tu plaza y participa desde el principio.
Unirse a la beta →