Em um mundo cada vez mais digital e imerso em dados, abrem-se múltiplas possibilidades de incrementos em resultados de negócios. Para isso, um caminho de testes e experimentações pode acelerar os processos de melhorias e otimizar tempo e recursos das organizações, priorizando aquilo que terá mais impacto nos objetivos perseguidos.
Mais do que ferramentas, conhecimento e tecnologia, é a cultura que permite ou impede que as empresas façam testes e experimentações. Aqui, é importante estabelecer cuidados básicos um ambiente de trabalho onde as lideranças estimulem a curiosidade, não punam falhas, sejam éticas e que os dados superem a opinião pessoal.
Mas como uma cultura voltada a experimentações pode ajudar? Esse exemplo do Booking, contada em reportagem da HBR, ajuda a entender mais:
Em dezembro de 2017, pouco antes da temporada de férias, o diretor de design da Booking.com propôs uma experiência radical: testar um layout totalmente novo para a página inicial do site. Em vez de oferecer muitas opções de hotéis, aluguéis de temporada e ofertas de viagens, a nova versão apresentaria apenas uma pequena janela perguntando para onde o cliente estava indo, as datas e o número de pessoas, retornando com três opções simples: “acomodações”, “voos” e “aluguel de carros”.
Todo o conteúdo e elementos de design – imagens, texto, botões e mensagens – que a Booking.com passou anos otimizando seriam eliminados.
Gillian Tans, CEO da companhia na época, estava cética. Ela temia que a mudança pudesse causar confusão entre os clientes já acostumados. Lukas Vermeer, então chefe da equipe de experimentação, apostou uma garrafa de espumante que o teste iria “encher” – significava que iria derrubar a métrica de desempenho crítica da empresa: conversão do cliente ou quantos visitantes do site fizeram uma reserva.
Há também um princípio básico na Booking.com, de que qualquer pessoa pode testar qualquer coisa, mesmo sem a permissão da gerência. Inserida nessa cultura, a empresa executa mais de 1.000 testes simultaneamente, ultrapassando os 25.000 testes por ano. Toda essa experimentação ajudou a transformar pequena startup holandesa na maior plataforma de hospedagem online do mundo em menos de duas décadas.
Muitas organizações também são conservadoras quanto se fala em experimentação. Uma pressão por acertos pode fazer com que os funcionários se concentrarem em soluções menos arriscadas, evitando testar ideias que possam falhar. Mas, na verdade, é menos arriscado realizar um grande número de experimentos do que um pequeno número.
No Booking.com, cerca de 10% dos experimentos geram resultados positivos – o que significa que “B”, uma modificação que tenta melhorar algo (vendas, taxas de cliques ou o tempo que os usuários passam no site, por exemplo), tem melhor desempenho entre usuários atribuídos aleatoriamente do que “A”, o controle, que é o status quo. Mas quando se realiza um grande volume de experimentos, uma baixa taxa de sucesso ainda se traduz em um número significativo de sucessos, o que acaba diminuindo os custos financeiros e emocionais dos fracassos. Se uma empresa faz poucos experimentos por ano, pode ter poucos sucessos ou mesmo nenhum. Então o erro deve ser encarado como natural. Falhas iniciais permitem eliminar rapidamente as opções desfavoráveis e concentrar os esforços para alternativas mais promissoras.
A Expedia Group, por exemplo, é outra empresa imersa em testes. Em entrevista à HBR, o CEO Mark Okerstrom delcarou que:
“Em um mundo cada vez mais digital, se você não fizer experimentação em grande escala, no longo prazo – e em muitos setores no curto prazo – você está morto. A qualquer momento, estamos executando centenas, senão milhares, de experimentos simultâneos, envolvendo milhões de visitantes. Por causa disso, não precisamos adivinhar o que os clientes desejam; temos a capacidade de realizar a maior parte das ‘pesquisas de clientes’ existentes, repetidamente, para que eles nos digam o que desejam”.
Porém, empresas com essa mentalidade são exceção. Muitas organizações executam não mais do que algumas dezenas de experimentos durante o ano. E a questão é justamente cultural, são comportamentos, crenças e valores vividos e compartilhados desde a alta liderança até os novos funcionários. E aos olhos de muitas organizações que buscam a eficiência, a previsibilidade e o sucesso nos resultados, essas falhas são um desperdício.
Então como virar esse jogo? Vamos a outro exemplo. A Duolingo é a plataforma de aprendizagem de idiomas mais popular do mundo e o aplicativo educacional mais baixado, com mais de 500 milhões de usuários em todo o mundo.
O Co-founder e CTO, Severin Hacker, conta no Medium como a empresa construiu uma cultura voltada para testes, executando experimentos em escala. São cerca de 30 novos testes por semana, além de centenas rodando ao mesmo tempo.
Cada teste é voltado, principalmente, para melhora de seu produto. Então qualquer membro da equipe – produto, engenharia, marketing – tem autoridade para propor e executar um experimento, com uma estrutura que envolve:
-
Hipótese
-
Resultado esperado
-
Links para trabalhos relacionados
-
Seleção de público
-
Especificações de design e interação
Os resultados dos experimentos ficam disponíveis em um painel personalizado que mostra como cada teste impacta todas as métricas importantes da empresa em relação a um grupo de controle – cobrindo conversão, envolvimento e monetização. No contexto do Duolingo, são coisas como o início de uma nova aula, o número total de aulas consumidas, a quantidade total de tempo de aula, conversão de contas gratuitas para pagas, etc.
Quando um experimento é claramente benéfico, os membros da equipe têm autonomia para mover essas mudanças diretamente para a produção. Claro que entra aqui também uma visão de negócio estratégica, de não sacrificar o uso de longo prazo por ganhos de curto prazo. Até por isso os experimentos geralmente duram algumas semanas e não apenas poucos dias.
Há muitos benefícios e também pontos de atenção ao manter uma cultura de testes nesse nível. Alguns pontos forte são:
-
Repetibilidade: ter um processo repetível (essencialmente, o método científico) para impulsionar a melhoria contínua do produto;
-
Objetividade: ter um sistema objetivo para tomar decisões sobre mudanças de produtos (evitando alternativas como o “HIPPO” – a opinião da pessoa mais bem paga);
-
Autonomia: incentivo à autonomia, que por sua vez aumenta a velocidade do produto;
-
Com base em métricas: criar um sistema que pode impulsionar melhorias nas métricas de negócios mais importantes, ao mesmo tempo em que minimiza o lançamento de mudanças ruins.
Algumas desvantagens:
-
Requer investimento significativo em infraestrutura;
-
Incrementalismo: encontrar mínimos / máximos locais em vez de globais;
-
Dívida de tecnologia: pode criar sobrecarga adicional de controle de qualidade;
-
Métricas difíceis: podem ser menos equipadas para conduzir certas métricas (digamos, viralidade ou aprendizagem);
-
Volume do usuário: ter um grande volume de usuários e dados é fundamental para experimentos bem-sucedidos.
Como começar
Se sua empresa está nos estágios iniciais de construção de uma cultura de testes, há algumas orientações úteis sobre como começar:
Certificar-se de estar na escala certa para o teste A/B
Se você tem dezenas de clientes, executar testes A/B não faz sentido, já que simplesmente não há dados suficientes. Embora não haja uma regra rígida, um limite flexível é cerca de aproximadamente 100.000 usuários ou mais.
Ter ferramentas para facilitar a experimentação
Para realizar muitos experimentos, o custo marginal (medido em tempo ou em reais ou dólares) de cada experimento deve ser pequeno – o custo deve ser “menos de 5% do overhead” – para funcionários técnicos e não técnicos. Você precisará investir na infraestrutura para facilitar a execução de testes.
Documentar e treinar incansavelmente
Para construir uma cultura em que quase todos os membros da equipe possam lançar um experimento, é preciso de uma documentação muito precisa sobre como executar os experimentos.
Saber o que medir e priorizar o que importa
Ter cuidado com o que for escolhido para medir quando se trata de experimentos e focar apenas no que realmente vai impactar no negócio. E, talvez ainda mais importante, certificar-se de que toda a equipe compartilha um entendimento sobre o que é mais importante.
Com o tempo, os experimentos resultarão em milhares de mudanças pequenas e não tão pequenas que juntas irão gerar enormes benefícios. Ter as ferramentas certas, embora essencial, é a parte fácil e não é suficiente para tornar a experimentação um sucesso. A lição é que não é tão importante se algum experimento tem sucesso ou falha, o que importa é como as decisões são julgadas sob incerteza em uma organização. Eles não devem ser baseados apenas na fé ou na opinião pessoal de quem tem poder de decisão. Se eles podem ser colocados à prova, eles devem ser, com dados e fatos. Esse é um nuance importantíssimo para avançar na construção de uma cultura data-driven.
