Testes A/B com pouco tráfego: o que mesmo assim se consegue
Um teste A/B precisa de casos suficientes para separar o acaso do efeito. Com 300 visitantes por mês, esse limite não é alcançável – qualquer resultado é então uma moeda ao ar. Cinco outros métodos dão ainda assim indícios aproveitáveis.
O essencial
- Abaixo de cerca de 1.000 ações-alvo por variante, os resultados A/B não se distinguem do acaso – ou seja, praticamente nunca em sites pequenos.
- Cinco métodos funcionam ainda assim: observação de utilizadores, teste dos quatro segundos, antes-depois por trimestres, pontos de abandono e a pergunta na primeira conversa.
- Com pouco tráfego compensam alterações grandes em vez de pequenas – uma nova estrutura, não outra cor de botão.
- Quem quiser mesmo assim testar A/B, testa nas listas de e-mail em vez do site: aí os números chegam muitas vezes.
Porque não resulta em termos de cálculo
Um teste deve mostrar se uma alteração faz efeito ou se a diferença é acaso. Quantos casos são precisos para isso depende de duas coisas: a taxa de partida e a dimensão da diferença esperada.
Um exemplo torna clara a ordem de grandeza: com uma taxa de partida de 3 por cento e uma subida esperada para 3,6 por cento – ou seja, uma melhoria relativa de 20 por cento – são precisos vários milhares de visitantes por variante para distinguir a diferença do acaso com fiabilidade. Com 300 visitantes por mês, o teste seria significativo ao fim de anos, e até lá a oferta já mudou.
Os cinco métodos que funcionam
1. Observar cinco pessoas
Do público-alvo, com uma tarefa, sem explicação. Onde hesitam está o erro. Cinco pessoas revelam a maior parte dos problemas grosseiros.
Esforço: 2 horas · Significado: alto para a usabilidade
2. O teste dos quatro segundos
Mostrar a página, fechar ao fim de quatro segundos, perguntar: do que se tratava, para quem é, o que se devia fazer? Quem não conseguir responder não percebeu a zona de topo.
Esforço: 30 minutos · Significado: alto para a entrada
3. Antes-depois por trimestres
Uma alteração grande, depois medir três meses e comparar com os três anteriores. Impreciso, porque outros fatores interferem – mas aproveitável em alterações grandes.
Esforço: baixo · Significado: médio
4. Medir os pontos de abandono
Onde termina o scroll, onde se abandona o formulário? Não mostra o que seria melhor – mas mostra com precisão onde está o problema.
Esforço: configuração única · Significado: alto para localizar
5. A pergunta na primeira conversa
«O que o levou a escrever-nos – e o que quase o impediu de o fazer?» A segunda parte é a valiosa.
Esforço: nenhum · Significado: alto, se for feita com regularidade
Sabia que…?
Com pouco tráfego compensam alterações grandes em vez de pequenas – e por razões de cálculo: quanto maior for a diferença real, menos casos são precisos para a reconhecer.
Outra cor de botão altera a taxa em poucos por cento e, com números pequenos, é por princípio indemonstrável. Uma estrutura de página completamente diferente pode duplicar a taxa – e isso vê-se mesmo com 300 visitantes. Quem tem pouco tráfego deve alterar com mais ousadia, não com mais cautela.
Onde os testes A/B funcionam mesmo em empresas pequenas
| Lugar | Viável? | Nota |
|---|---|---|
| Linhas de assunto nos envios de e-mail | sim | já a partir de algumas centenas de destinatários é grosseiramente útil |
| Textos de anúncios | sim | muitas impressões, retorno rápido |
| Página inicial | raramente | poucas ações-alvo |
| Formulário de contacto | não | poucos envios |
| Página de preços | não | poucos casos, dispersão alta |
A forma mais honesta de lidar com números pequenos é não apresentar a decisão como resultado de um teste. Se uma alteração parecer sensata por boas razões – formulário mais curto, zona de topo mais clara, um preço em vez de nenhum –, façam-na e escrevam em que assentam as expectativas.
Ao fim de três meses veem se o número de entrada se moveu e sabem: é um indício, não uma prova. Essa honestidade vale mais do que um teste cujo resultado é uma moeda ao ar – porque impede que um número aleatório se torne a base da decisão seguinte.
Ajuda-me a decidir como posso avaliar uma alteração no nosso site. Os nossos números: - Visitantes por mês na página em causa: [número] - Ações-alvo por mês nessa página: [número] - O que quero alterar: [descrição] - Que dimensão espero para o efeito: [estimativa] Tarefas: 1. Diz-me se, com os nossos números, um teste A/B seria significativo. Calcula com uma ordem de grandeza e mostra o raciocínio. Se não for, di-lo claramente. 2. Recomenda, das cinco alternativas – observação de utilizadores, teste dos quatro segundos, antes-depois por trimestres, pontos de abandono, pergunta na primeira conversa – as duas que encaixam na minha alteração. Fundamenta. 3. Avalia se a minha alteração planeada é suficientemente grande para sequer se tornar visível com os nossos números. Se não, propõe uma versão mais ousada. 4. Formula, para o teste dos quatro segundos, as três perguntas que devo fazer. 5. Formula uma frase para o nosso relatório que diga com honestidade o que o resultado vai mostrar e o que não. Não inventes valores de referência do setor.
Conclusão
Com números pequenos, o teste A/B clássico não é uma ferramenta, é uma máquina de acaso com aparência científica. Quem o usa mesmo assim toma decisões com base em ruído.
O que funciona: observar cinco pessoas, o teste dos quatro segundos, os pontos de abandono, a pergunta na primeira conversa – e alterações ousadas em vez de cautelosas, porque as diferenças grandes tornam-se visíveis mesmo com poucos casos.
Perguntas frequentes
A partir de quando são os testes A/B significativos?
Como ordem de grandeza são precisos vários milhares de visitantes por variante, quando se pretende melhorar em cerca de um quinto uma taxa de partida típica de poucos por cento. Com 300 visitantes por mês, um teste desses só seria significativo ao fim de anos – e até lá a oferta já mudou.
O que se faz em vez disso?
Cinco métodos: observar cinco pessoas do público-alvo a usar, o teste dos quatro segundos sobre a zona de topo, um antes-depois por trimestres em alterações grandes, a medição dos pontos de abandono, e a pergunta na primeira conversa sobre o que quase impediu o contacto.
Porque se deve alterar com mais ousadia quando há pouco tráfego?
Porque diferenças reais maiores precisam de menos casos para serem reconhecidas. Outra cor de botão é, com números pequenos, indemonstrável por princípio; uma estrutura de página completamente diferente pode duplicar a taxa – e isso vê-se mesmo com poucas centenas de visitantes.
Onde funcionam os testes A/B mesmo em empresas pequenas?
Nas linhas de assunto dos envios de e-mail, onde algumas centenas de destinatários já dão indícios grosseiros, e nos textos de anúncios com muitas impressões. No site – página inicial, formulário de contacto, página de preços – as ações-alvo não chegam, em regra.
Pode interromper-se um teste quando uma variante lidera?
Não. Com números pequenos a liderança troca com regularidade; quem interrompe no resultado desejado encontra sempre um. Aí não é um teste, é uma confirmação do próprio pressuposto – e o número aleatório torna-se a base da decisão seguinte.
Marketing que se configura sozinho
A beta do Studio Engine está aberta. Reserve o seu lugar e participe desde o início.
Participar na beta →