💥 O Fim dos Testes A/B?

Nesta edição:

• O guru do Analytics chamou os testes A/B de “pior uso de tempo e dinheiro”. Será o fim dessa técnica ou mais um momento em sua evolução?

• Investimento em SaaS volta a crescer e mais notícias da semana

• Você é fã dos testes A/B? Confira abaixo uma linha do tempo da evolução dos experimentos no marketing.

Boa leitura!

O QUE VOCÊ PRECISA SABER SOBRE
O Fim dos Testes A/B

Polêmica à vista! No início da semana, o guru do Analytics, Avinash Kaushik publicou em seu perfil dizendo para as empresas pararem de fazer testes A/B: “poucos investimentos são um pior uso de tempo, pessoas e dinheiro”.

Testes A/B são um método popular e amplamente usado no marketing digital e no desenvolvimento de produtos. Portanto, uma crítica tão direta de um dos mais reconhecidos especialistas da área é bastante chocante.

Mas o Avinash não está sozinho nas críticas aos testes A/B. Será que essa técnica de experimentação está com os dias contados?

Os limites dos testes A/B

A principal vantagem dos testes A/B é a facilidade com que ela permite a tomada de decisão baseada em dados. Compare diretamente duas opções e identifique a que gerou melhores resultados. É isso!

Porém, ela tem três desvantagens práticas:

1. Demanda tempo e recursos: Configurar e executar testes A/B, desde o planejamento até a análise dos dados, exige investimento e paciência.

2. Escalabilidade limitada: Testar múltiplas variáveis, com testes A/B ou multivariados (MVT), resulta em uma "explosão combinatória", inviabilizando experimentos em menor escala.

3. Personalização insuficiente: Decisões baseadas em resultados majoritários podem desconsiderar preferências individuais, oferecendo experiências menos personalizadas aos clientes.

Do ponto de vista da experiência do cliente, esse último ponto talvez seja o mais importante. Em uma eleição, obter 51% dos votos significa vitória. Em uma campanha de marketing, implementar a variável que obteve mais conversões significa que 49% dos seus clientes não terão a experiência que esperam.

O futuro dos testes e experimentos

Para superar esses desafios, empresas e fornecedores estão indo além dos testes A/B simples, avançando para métodos cada vez mais sofisticados:

Testes multivariados ou Multivariate Tests (MVT): testes que avaliam simultaneamente múltiplas variações de diferentes elementos em uma página ou experiência digital.

Multi-armed bandits (ou “bandidos multiarmados”): técnica que utiliza algoritmos de machine learning para alocar dinamicamente o tráfego às variantes de melhor desempenho em tempo real. O nome do algoritmo é bem interessante: “Multi-Armed Bandit” se refere ao cenário hipotético no qual um apostador precisa escolher em quais máquinas jogar entre uma fileira de caça-níqueis. O caça-níquel é conhecido em inglês como “one-armed bandit”, ou “bandido de um braço”.

Contextual bandits: Uma evolução desses algoritmos que utilizam informações contextuais para personalizar suas decisões. Para uma campanha de marketing, por exemplo, podem ser dados como região, há quanto tempo é cliente, quantas compras realizou nos últimos 90 dias, e qual o dia da semana.

Decisões baseadas em IA ou AI Decisioning: Técnicas mais sofisticadas que mesclam experimentação e personalização, trazendo para a solução IA de forma mais intensiva, com Agentes AI, reinforcement learning (RL) e large language models (LLMs).

Afinal, é mesmo o fim dos Testes A/B?

Apesar desses avanços, o teste A/B está longe de morrer. Ele segue evoluindo e continua sendo uma ferramenta essencial para empresas.

No entanto, o avanço tecnológico oferece novas possibilidades. Mudam as técnicas e ferramentas, mas o espírito da experimentação em marketing segue mais forte do que nunca.

NOTÍCIAS DA SEMANA

📈 Investimento em SaaS volta a crescer
A Zylo publicou seu relatório anual sobre gastos, licenças e uso de SaaS. Em 2024, houve um aumento de 9,3% nos gastos médios com SaaS em relação ao ano anterior, marcando o primeiro aumento em três anos (análise via Chiefmartec).

🖥️ Eletromidia lança ad network
A Eletromidia abriu sua ad network para outros players de OOH (out-of-home), reforçando seu compromisso com a modernização da mídia no Brasil e ampliando oportunidades para o setor (via Meio & Mensagem).

🤝 Rokt compra mParticle e consolidação no mercado de CDPs avança
A Rokt investiu US$ 300 milhões para adquirir a mParticle, consolidando ainda mais o mercado de plataformas de dados de clientes (CDPs). A solução agora será chamada de “mParticle by Rokt”, com foco em personalização de e-commerce (via martech.org).

🔗 Microsoft Clarity integra Google Ads
A integração do Microsoft Clarity com o Google Ads conecta métricas de desempenho de campanhas ao comportamento pós-clique, ajudando profissionais de marketing a otimizar estratégias com mais precisão (via martech.org).

LINHA DO TEMPO
Testes A/B e Experimentação em Marketing

Os momentos mais importantes ou curiosos da evolução dos experimentos com foco em marketing:

• Século 18: O primeiro "ensaio clínico" semelhante a um teste A/B foi conduzido por James Lind para encontrar uma cura para o escorbuto entre marinheiros. Ele dividiu 12 marinheiros doentes em seis pares, dando a cada par um suplemento alimentar diferente. Apenas o par que recebeu frutas cítricas apresentou melhora.

• Início do Século 20: Claude Hopkins, pioneiro da publicidade, utilizou cupons promocionais para testar a eficácia de campanhas, antecipando os métodos modernos de teste A/B.

• Anos 1960: Profissionais de marketing começaram a usar testes A/B para avaliar a eficácia de anúncios, comparando formatos de TV, rádio e malas diretas.

• 1995-2000: Surgem os primeiros passos na análise da web, com especialistas analisando manualmente arquivos de sites para entender mudanças no comportamento do usuário.

• 2000: Engenheiros do Google realizam seu primeiro teste A/B para determinar o número ideal de resultados de busca exibidos. O teste falhou devido à lentidão no carregamento das páginas, mas trouxe aprendizados importantes sobre velocidade.

• 2006: Lançamento do Google Optimize, que marcou uma grande mudança para a otimização no marketing digital. A ferramenta foi desativada em 2023.

• 2010: VWO e Optimizely entram no mercado, tornando ferramentas de teste A/B mais acessíveis a um público maior.

• 2016: As ferramentas de teste A/B evoluem significativamente, e a personalização ganha espaço no mercado. Esse ano é considerado o "amadurecimento" dos testes A/B.

• 2024: Empresas como Microsoft e Google realizam mais de 10.000 testes A/B por ano, destacando a ampla adoção e a importância da técnica para decisões baseadas em dados.

MARKETING + TECHNOLOGY + BUSINESS

MarTechBiz é uma newsletter semanal produzida por Tiago Amaral.

Toda quinta-feira, receba em seu email insights na intersecção do Marketing, Tecnologia e Negócios.

Esse email foi encaminhado para você? Clique para se inscrever.