Marketing e análise
Teste A/B de dois cartazes QR: o que estás realmente a comparar
Quase toda a pergunta «que cartaz funciona melhor» resolve-se pelo gosto, e o gosto sai caro: imprimes mil cópias da versão perdedora e só descobres seis meses depois. A alternativa é uma experiência a sério, mas a versão honesta dela não compara dois cartazes entre si. Compara duas situações idênticas com uma única variável mudada.
O que estás a testar não é o cartaz
Põe a versão A à entrada e a B junto à casa de banho e o resultado já está decidido: à entrada passa simplesmente mais gente. Põe A ao nível dos olhos e B ao nível dos joelhos e mediste a altura, não o desenho. Pendura A em julho e B em setembro e mediste a época.
É por isso que a maioria dos testes de cartazes produz um número seguro e uma conclusão errada. A comparação em que podes confiar não é A contra B. É A contra A com uma só coisa mudada — no mesmo sítio, à mesma hora do dia e no mesmo tipo de papel.
Quatro condições para uma divisão justa
Se só existe um local, usa o desenho com troca: A uma semana, B uma semana, outra vez A, outra vez B. Quatro períodos — e vês se a diferença sobreviveu à troca ou se era apenas a semana.
O que medir em vez do número de leituras
Uma leitura não é um resultado. É o momento em que alguém apontou uma câmara. O que queres é a fatia de leituras que se transformaram no que o cartaz prometia: uma reserva, uma encomenda, um formulário preenchido, uma avaliação.
Esse número tem ainda uma propriedade útil: não sobe só porque imprimiste mais cartazes. Cem leituras sem encomendas não são uma vitória sobre cinquenta leituras com doze encomendas, mesmo que a primeira coluna pareça maior.
Se nas tuas análises não vês conversões, usa o indicador honesto seguinte: o que aconteceu à facturação ou às reservas nas semanas em que esteve cada versão, por semana e na mesma sala. É grosseiro, mas mais difícil de enganar do que um contador de leituras.
Não decidas no primeiro dia
As primeiras cinquenta leituras vão mostrar uma diferença, e essa diferença vai ser ruído. As pessoas lêem em grupos: uma mesa de seis lê o mesmo código, uma terça-feira calma não lê nada. Os números iniciais parecem uma tendência só porque ainda não há mais nada no gráfico.
Por isso decide a regra antes de começar, e por escrito: «dentro de quatro semanas, se B for mais de vinte por cento melhor na taxa de conclusão por leitura, ficamos com B». A regra escrita é o que te impede de mover a meta em silêncio quando perde a versão de que gostavas.
Três formas de o teste te mentir
O mesmo código duas vezes
Dois cartazes visualmente diferentes a apontar para o mesmo link curto. As análises misturam-se e não consegues dizer qual cartaz deu o quê. Cada versão precisa do seu próprio destino: dois códigos dinâmicos e uma marca no link que sobreviva ao redireccionamento.
Parar quando «já se vê»
Ver os números todas as manhãs e congelar o teste no dia em que B passou à frente. É a forma mais comum de um teste pequeno fabricar o seu próprio vencedor. A regra tem de estar definida de antemão e a duração tem de ficar fechada antes da primeira leitura.
Dois códigos num só cartaz
«Que o cliente escolha» soa neutro e não é: num cartaz ganha o código do lado por onde as pessoas se aproximam, e mediste a posição esquerda-direita em vez da mensagem. Um cartaz, um código.
A matemática incómoda dos números pequenos
Se mais ou menos uma em cada vinte pessoas que lêem o código faz o que queres, notar uma melhoria de dez por cento exige milhares de leituras por versão, não dezenas. Um café com oitenta leituras por mês não consegue resolver essa diferença, e fingir o contrário produz disparates muito seguros de si.
Isso não é razão para desistir dos números. É razão para gastar o esforço nas variáveis de efeito grande, onde a diferença aparece em dias e não em épocas: onde está o cartaz, a que altura e se tem pelo menos uma linha de texto.
Testa por ordem de tamanho do efeito
Na prática, o local ganha ao tamanho, o tamanho ganha à frase e a frase ganha à combinação de cores. Quase ninguém acredita nisto, e quase toda a gente começa por redesenhar as cores.
Uma ordem sensata para um negócio pequeno: o código está onde as pessoas realmente param e esperam? A uma altura de onde se chega confortavelmente com o telemóvel? Há uma linha curta a dizer o que acontece a seguir? Só depois compara frases, e só mais tarde o desenho.
As duas versões têm de funcionar antes de o teste começar
O desfecho mais inútil é descobrir ao terceiro dia que uma variante se lê mal com a luz real da sala real. Laminado riscado, reflexo da janela, um código impresso demasiado pequeno, um logotipo a comer a zona de silêncio: qualquer destas coisas transforma a versão B num código que falha por motivos que nada têm a ver com a tua mensagem.
Por isso testa as duas impressões antes de as pendurar: à distância a que as pessoas realmente se colocam, com a luz que realmente existe ali e com um telemóvel que não seja o mais recente do edifício.
O que convém arrumar antes de testar qualquer coisa esperta
Nem tudo precisa de uma experiência controlada, e algumas mudanças são tão provavelmente úteis que o melhor é fazê-las e guardar a medição para a ronda seguinte.
Mudar o cartaz da parede atrás do balcão para a mesa onde as pessoas esperam. Acrescentar o endereço em texto por baixo do código, para funcionar com quem tem uma câmara que se recusa. Aumentar o código dez milímetros. Trocar o laminado brilhante por mate. Retirar o segundo código que ninguém lê. Cada uma destas decisões é barata e tem mais efeito esperado do que qualquer escolha de cor.
Como é um teste terminado
Uma página, quatro linhas: que variável mudou, qual era o destino de cada versão, quanto tempo esteve cada uma e qual foi a taxa de conclusão por versão. Mais uma frase sobre o que vais fazer diferente. Se o resultado foi um empate, escreve isso também: um empate que trava uma discussão repetida vale mais do que um vencedor falso que a recomeça no trimestre seguinte.
E guarda o desenho perdedor. Dentro de um ano a mesma pergunta volta, e ter o ficheiro, as datas e os números é a diferença entre uma decisão e mais uma opinião.
Erros que saem caros
- Mudar texto, tamanho e local ao mesmo tempo — e tirar uma conclusão sobre «o desenho».
- Os dois cartazes a apontar para o mesmo link, por isso as análises não os separam.
- O teste parou na manhã em que uma versão passou à frente.
- Dois códigos impressos num cartaz e chamar-lhe teste dividido.
- Comparar um número de leituras com um número de conclusões e declarar um vencedor.
- O teste de uma semana que na verdade comparou uma semana de sol com uma de chuva.
Como montar as duas versões na prática
No gerador de QR cria dois códigos dinâmicos, um por versão, e dá a cada um o seu próprio destino ou a sua própria marca de seguimento; caso contrário todo o exercício é decorativo. Mantém os dois links na mesma conta para poderes exportar os números lado a lado no fim.
No Estúdio QR faz uma única peça e duplica-a. Muda exactamente um elemento — a frase acima do código, o tamanho ou o fundo — e deixa a moldura, o papel e a altura de montagem idênticos, porque é precisamente isso que o teste já não vai poder corrigir depois.
Depois revê os dois ficheiros com o leitor QR antes de mandar imprimir: lê a prova impressa, lê uma fotografia dela e lê-a com a luz onde o cartaz vai estar de facto. Uma variante que falha aqui nunca teve hipótese de ganhar.