A evolução dos testes e experimentação com dados

Como os processos de testagem e experimentação de dados mudaram nos últimos anos

Os experimentos controlados tornaram-se uma parte cada vez mais essencial no dia a dia de muitas empresas, especialmente das mais bem-sucedidas e imersas no ambiente digital. Neste artigo, vamos discutir sobre a evolução da experimentação que a ciência de dados proporcionou aos negócios nos últimos anos.

Se antes da evolução tecnológica as experimentações eram baseadas em lógicas mais primitivas e estatísticas, agora é possível usar lógicas mais avançadas, com modelagem de dados e algoritmos. Com isso, é possível ter mais rapidez, assertividade e melhora nas experimentações. O que também facilita a tomada de decisões e permite o alcance de melhores resultados.

DO que significa na prática “experimentação?

Atualmente, com o avanço da tecnologia, empresas de grande porte como Google, Netflix, Airbnb e Microsoft realizam dezenas de milhares de experimentos todo ano. Testes de mudanças de determinados aspectos do produto/serviço que vai funcionar melhor para algum objetivo específico. A posição do botão para fazer as pessoas clicarem em um carrinho de compras; uma feature de recomendação fazê-las passar um pouco mais de tempo com a aplicação; uma mudança de layout para ampliar a percepção de valor… e por aí a lista vai longe.

A partir desses testes, é possível quantificar de forma rigorosa o impacto de suas ideias e também as chances de sucesso de futuros lançamentos. Em muitos casos, esse tipo de estratégia pode gerar grandes resultados e mesmo aumentar a lucratividade de um negócio.

Contudo, para entender melhor como chegamos ao nível de sofisticação atual, vale a pena entender a história da evolução dos testes e experimentação como um todo.

O avanço da experimentação nos últimos anos

Quando a cultura de experimentação iniciou em grandes empresas, muitos dos primeiros testes executados eram de natureza extremamente simples, do tipo A/B. Um dos mais famosos foi o teste dos tons de azul do Google, que diversificou 40 tons dessa cor a partir de links de resultados de pesquisa, para entender qual era o mais eficiente.

Inicialmente, muitos experimentos eram assim: otimizações simples para entender melhor como o cliente ou usuário respondia a coisas como cores, fontes, presença de publicidade etc.

Se voltarmos atrás, uma das primeiras ferramentas de experimentações conhecidas, o Optimizely, foi criado justamente para se encaixar neste contexto. Profissionais de marketing eram seus principais usuários, realizando alterações básicas para conseguir melhorar a experiência do usuário. E, se tudo desse certo, aumentar os lucros.

Só que, desde então, muita coisa mudou. A infraestrutura de dados evoluiu significativamente, junto com as próprias necessidades das empresas. Ambas amadureceram e se tornaram mais complexas. Tanto que é muito mais provável hoje que os testes estejam mais vinculados às experiências principais do produto do que questões estáticas marginais como antes. Outro ponto é que, geralmente, essas experimentações envolvem a coordenação de muitas alterações de uma só vez em vários serviços. Hoje é muito importante que os experimentos possam ser monitorados, aperfeiçoados e integrados com outros sistemas. O volume bruto de experimentos que muitas empresas desejam executar também aumenta a probabilidade de conflito, o que requer ainda mais cuidado. Isso significa que o nível de profundidade das mudanças vai ser muito maior e dar muito mais trabalho. Na prática, passamos de um processo extremamente simples, para um extremamente complexo. Porém, os resultados também são muito mais significativos.

Por fim, as próprias pessoas relacionadas à experimentação online são outras. Com o surgimento de ferramentas de dados sofisticadas, houve o surgimento de profissionais como cientistas de dados, engenheiros de dados e analistas de inteligência, o que fez com que a experimentação deixasse de ser uma ferramenta do nicho de marketing para se tornar protagonista nas mais diversas frentes. Hoje, a experimentação é vista como uma vantagem competitiva e, na verdade, é uma parte essencial da cartilha da maioria dos programas de crescimento. A experimentação precisa, necessariamente, fazer parte do processo de evolução de qualquer produto ou serviço.

A estrutura de uma plataforma de experimentação moderna

Quando falamos de grandes empresas, como Netflix, Yelp, Google e Microsoft, por exemplo, todas elas atendem a alguns princípios básicos.

O primeiro deles é a amplitude do processo, ou seja, a tentativa de buscar automação no limite máximo. Isso garante não só a velocidade do processo como a implementação das soluções em um nível muito mais pragmático.

Em segundo lugar, a democratização do acesso a esse tipo de ferramenta tem sido cada vez mais importante. Tanto quanto a própria infraestrutura. Isso porque as empresas têm entendido a necessidade não só de testar, mas de criar uma cultura de experimentação, em que diversos profissionais podem se valer desse tipo de abordagem nas aplicações das suas áreas.

Em terceiro, é preciso um investimento significativo no “DevOps” da experimentação. Isso inclui monitoramento, depuração, metadados pesquisáveis ricos sobre todos os processos em andamento, proteções em torno de experimentos, entre outras coisas. Portanto, a equipe central responsável pela plataforma de experimentos deve ser capaz de rastrear, entender e validar o que está acontecendo a todo momento. E para isso é preciso investimento.

Por fim, os recursos sociais e de colaboração são parte essencial do processo, sendo este um ponto subestimado em muitas plataformas de experimentação.

No caso do Booking.com, por exemplo, a empresa descobriu formas de permitir que pessoas que não são especialistas realizassem experimentos e entendessem o pensamento estatístico. A ideia era entender recursos sociais vinculados à experimentação, o que acabou se tornando um dos aspectos mais valiosos de sua plataforma. Com isso, o Booking.com conseguiu ensinar as pessoas a discutir e falar sobre esses experimentos, o que, por sua vez, permitiu um feedback extremamente valioso. Foi possível “aprender fazendo”. Nesse caso, a chave foi permitir que qualquer pessoa na empresa oferecesse um feedback.

Outro exemplo foi quando um funcionário da Microsoft, trabalhando no Bing, teve a ideia de mudar a forma como o mecanismo de busca exibia os títulos de seus anúncios. A ideia não exigiria muito esforço, mas era apenas uma entre as centenas de outras propostas. Assim, os gerentes do programa a consideraram de baixa prioridade.

Depois de seis meses, um engenheiro, que viu que o custo de escrever o código seria pequeno, lançou um experimento simples (um teste A/B) para avaliar o impacto da sugestão. Em poucas horas, a nova variação do título estava produzindo uma receita anormalmente alta, acionando um alerta “bom demais para ser verdade”.

Mas não foi um bug, ou uma leitura equivocada dos resultados. De fato, os dados mostraram que essa simples mudança aumentou a receita em surpreendentes 12%. Em uma base anual, isso significava mais de US$ 100 milhões, apenas nos Estados Unidos. Esse exemplo mostra que muitas vezes pode ser difícil avaliar o potencial de novas ideias, mas mais importante do que isso, é ter a capacidade de executar muitos testes de forma barata e simultânea.

Componentes da estrutura de experimentação

Agora que entendemos melhor sobre a estrutura de experimentação, vamos conhecer alguns componentes que toda plataforma de experimentação precisa ter para colocar em prática os princípios vistos até aqui. São eles:

• Atribuição estatística: atribui grupos experimentais ao conjunto certo de dimensões. Normalmente, é feita a partir de uma API global, em cima de um repositório de metadados do experimento.

• Modelagem de Métricas: ferramentas que permitem a modelagem de todas as principais métricas que serão comumente usadas em análises experimentais, como taxa de cliques, taxa de conversão, engajamento, latência, entre outros.

• Pipelining e orquestração de dados: devem existir para automatizar a ingestão de dados de atribuição e ações do usuário, enriquecer potencialmente esses dados com fontes secundárias e automatizar o cálculo de todas as métricas relevantes para o experimento.

• Monitoramento e Depuração: sistema que monitora metadados experimentais e identifica anomalias ou resultados inesperados, como dados ausentes, divisões experimentais desiguais, resultados anômalos, testes com comportamento estranho, etc.

• Agendamento, lançamento e gerenciamento de experimentos: permite uma lógica rica em torno do agendamento e lançamento de experimentos. Ajuda a evitar conflitos experimentais e garantir que haja o equilíbrio certo entre o número de experimentos paralelos e o tempo que cada um deles precisa.

• Revisão Experimental e Guardrails: a experimentação descentralizada requer supervisão, especialmente porque a maioria dos indivíduos dentro de uma empresa não tem o conhecimento estatístico para executar experimentos perfeitamente.

• Mecanismo de Investigação: a maioria dos experimentos requerem algum grau adicional de investigação para entender melhor por que ele foi bem-sucedido, falhou ou teve resultados inconsistentes.

• Captura de conhecimento e relatórios: é preciso ter um repositório ativo de experimentos que qualquer pessoa possa pesquisar. Com isso, a estrutura experimental completa, bem como o histórico e os resultados dos testes precisam estar disponíveis.

É claro, construir tudo isso não é nada simples. No entanto, ignorar qualquer um desses componentes, e tratar a experimentação apenas como um problema de infraestrutura e recurso, limita significativamente sua capacidade de descentralizar e, portanto, dimensionar a experimentação.

Os princípios do Airbnb

A boa notícia é que atualmente existem muitas ferramentas que podem ser utilizadas para tornar a sua vida mais fácil. Além disso, é possível que cada empresa crie seus próprios princípios. No caso do AirBnb, por exemplo, a empresa delimitou 4 princípios-chave que podem determinar o impacto da experimentação de dados dentro da empresa. São eles:

1. A experimentação do produto deve ser orientada por hipóteses

Sempre comece com a pergunta: “O que os dados dizem?” Sem hipóteses, apoiadas por dados relevantes, você pode ser facilmente distraído pelo que parecem ser resultados positivos, mas podem ser meros acasos estatísticos.

2. Definir a ‘população exposta’ adequada é fundamental

A população exposta define quem deve ser exposto a um experimento e quem não deve. Sem uma segmentação clara de sua população exposta, você corre o risco de se deparar com acasos durante a análise. 

3. Compreender o potencial é essencial

Antes de qualquer teste, é preciso ter uma noção do seu impacto. A menos que você esteja trabalhando em recursos que você entende por dentro e por fora, é preciso saber em que terreno se está pisando.

4. O fracasso é uma oportunidade

Por fim, os experimentos nunca falham. Ao invés disso, as hipóteses são comprovadas como erradas. Com isso, aceite as hipóteses incorretas como oportunidades de aprendizado.

Próximo passo: criar uma cultura de experimentação de dados

No caso da cultura da experimentação, é possível que sua empresa enfrente alguns problemas. Por exemplo, líderes e executivos podem estar acostumados a um ambiente em que podem tomar decisões baseadas em instinto o tempo todo, o que pode dificultar o processo de direcionar tomadas de decisões totalmente baseadas em dados.

Além disso, funcionários sem experiência em estatística podem não entender a utilidade da experimentação, ou mesmo se sentirem sobrecarregados devido à falta de familiaridade com os conceitos estatísticos. Nesse caso, é preciso oferecer o suporte e o treinamento necessário, além de não sobrecarregar ninguém.

Em todos esses casos, ferramentas construídas com base nos princípios corretos podem fornecer a base para uma cultura de experimentação. É preciso lembrar que plataformas de experimentação devem ser transparentes e abertas, de modo que qualquer pessoa possa criar um experimento e todos possam ver os experimentos históricos que foram executados. Ademais, a possibilidade de compartilhamento para facilitar o link para experimentos em e-mails, slack ou outros canais de comunicação reforça a alfabetização experimental. Tudo é uma questão de incluir todos da empresa nesse novo universo, dando espaço e condições para que todos não apenas entendam a importância da experimentação, mas possam se envolver e se beneficiar verdadeiramente dela.