Como escolher de maneira correta métricas para mensuração, de acordo com seus desafios de negócio
Todo projeto de Ciência de Dados começa por uma escolha: qual dados utilizar. Seja para chegar a um modelo que consiga prever o churn de usuários, recomendar produtos relevantes a clientes de uma plataforma ou entregar qualquer outro tipo de perspectiva sobre o negócio.
Independentemente da aplicação, um entendimento claro e aprofundado do tipo de dado necessário para criar um sistema de mensuração é extremamente valioso. Este texto será uma espécie de guia para ajudar sua empresa a fazer isso de maneira mais lógica e técnica.
Primeiro passo: delimitando objetivos
Antes de mais nada, é preciso reconhecer os objetivos estratégicos da sua organização. Isso é importante para determinar um norte e orientar a construção do nosso processo de análise. Além disso, quanto mais específico o seu objetivo, melhor. Isso oferece menos espaço para interpretações, e permite que sua equipe trabalhe em direção a um objetivo comum. O que facilita a definição de métricas específicas.
Afinal, uma métrica muito vaga, de redução da pegada de carbono de sua empresa, por exemplo, pode significar muita coisa: pode ser uma redução de 10% em relação ao ano passado, ou de 100% em relação ao ano de 1980. Nesse caso, existe muita margem para interpretações equivocadas, dificultando seu alinhamento estratégico. Já se você decidir delimitar um crescimento de 50% nas vendas, ano após ano, por meio de upselling e compras repetidas, isso se torna muito mais específico – e “fácil de mensurar.
Uma maneira de começar é desenhar um diagrama do processo, para mapear quais são os pontos necessários de mensuração. Em artigo publicado pela Towards Data Science, Xiao Zhou dá um bom exemplo disso, através de um desenho de um processo simplificado de compra em um site de comércio eletrônico. Assim, teríamos algo como:
Depois de visualizarmos este processo, é possível detalhar o estado atual do trabalho de análise, assim como os produtos que sustentam esse processo. Neste caso, podemos classificar a análise em três categorias:
Visibilidade: principalmente para coletar dados e mostrar o que está acontecendo ou aconteceu (conjuntos de dados, ETLs, data warehousing, painéis, relatórios de dados ad-hoc, etc).
Previsões: para responder a nossas perguntas “E se”. Por exemplo, previsão anual de vendas, testes AB, simulação de alterações de processos, etc. Para as previsões funcionarem, antes precisamos de visibilidade.
Otimização: por fim, a otimização, para apoiar decisões e melhorar os indicadores de desempenho. Exemplo disso é maximizar o valor da vida útil do cliente, minimizar o custo de envio, etc.
Dessa forma, o diagrama do nosso processo de compra ficaria mais ou menos assim:
Encontrando o estado ideal do processo de análise
Em seguida, é hora de preenchermos as lacunas entre o estado atual da análise e nosso verdadeiro objetivo estratégico com o estado futuro da análise. Para isso, vamos fazer um brainstorming sobre qual tipo de análise e métricas deveriam ser utilizadas para ajudar nesta organização, e atingirmos nossos objetivos.
Primeiro, pergunte-se para quem e por que isto está sendo feito. Isso ajuda a identificar coisas que talvez não precise fazer, pois não agregam valor a este objetivo. E também a priorizar trabalhos que impacte seus clientes finais, ou que sejam muito importantes para o funcionamento do negócio.
Além disso, aponte as principais deficiências do projeto, que precisam de mais atenção. Isso geralmente gera um panorama melhor sobre a hierarquia do que precisa ser melhorado em seus projetos, e garante mais segurança para começar.
Enfim, neste momento do processo de análise, é importante envolver as principais equipes de parceiros da empresa. Ou seja, pessoas que colaboram na construção desse projeto, ou investem recursos nele. Também é estratégico envolver diferentes tipos de profissionais de análise, uma vez que isso pode trazer olhares diferentes para o processo e, consequentemente, soluções diferentes.
Portanto, traga pessoas de todas as áreas: engenharia de dados, inteligência de negócios, analistas e cientistas de dados, etc.. Assim, é mais provável construir um cenário que abranja todos os aspectos da análise que vimos anteriormente: visibilidade, previsões e otimizações.
Hierarquia das métricas: o que vem primeiro?
O último passo é criar um plano tangível de mensuração. Começar a se afastar do estado atual da análise, e construir o seu estado ideal. Em outras palavras, criar e priorizar suas iniciativas com base nas métricas necessárias. Neste ponto, você já deve ter um quadro com algumas iniciativas potenciais:
Ao priorizar as iniciativas criadas, é preciso, é claro, começar a investir naquelas mais valiosas para sua empresa. Entretanto, existem muitas outras dimensões a considerar, além da relevância. Por exemplo:
Valor ou urgência? Muitas vezes, iniciativas urgentes geram um baixo valor para o negócio, e vice-versa. É preciso analisar cada uma para determinar qual delas será mais relevante neste momento.
O processo de análise é realista? A iniciativa pode ser boa, mas se faltar recursos, tempo e equipes qualificadas para isso, talvez não seja o momento de priorizá-la.
Existe um motivador? Um bom sistema de mensuração precisa parecer proposital e motivador para as pessoas que a executam. Classificar as iniciativas de acordo com o quanto a equipe se preocupa com elas ajudará a pesar em relação ao valor e à urgência.
Assim, embora existam muitas coisas que podemos e devemos medir, há uma hierarquia na forma como abordamos o que é medido. E, como qualquer estrutura hierárquica, se você não estabelecer a base, não poderá alcançar o topo.
Por isso, sempre que você tiver uma ideia para um processo de análise, é importante considerar a hierarquia de métricas. Isso ajudará você a entender qual métrica será mais diretamente afetada pelo dado.
E lembre-se: quanto mais próxima a métrica estiver do “topo” da hierarquia de métricas (da métrica principal do seu produto), maior a probabilidade de o dado ser bem-sucedido.
Entendendo a hierarquia em poucos passos
Em um artigo da ProductStar Global, é possível entender isto na prática. Neste caso, o artigo recomenda começar determinando a métrica principal para sua empresa. A receita, por exemplo. Em seguida, determine qual métrica-chave do produto se compromete com a métrica principal da sua empresa. Escolha de 3 a 5 métricas que afetam diretamente a métrica principal do produto (Pode ser peço médio de compra, número de usuários, frequência de compra, entre outros exemplos). Essas serão suas métricas de nível 1.
Agora, para cada métrica de nível I, faça a pergunta “Quais submétricas afetam mais essa métrica?” (Por exemplo, “Preço médio de compra” é afetado por “Custo médio de mercadorias”). Essas serão as métricas de nível II.
Por fim, pegue as métricas de nível II e encontre as métricas de nível III, e assim por diante. Em geral, você pode chegar até o número IV ou V, dependendo do tamanho e da complexidade do seu produto. Quanto mais longe você for, mais clara a hierarquia das métricas ficará. Veja o exemplo abaixo:
Na imagem acima, estão destacados os dados que devem ser associados a uma métrica, e quanto mais próxima essa métrica estiver da principal, mais importante será este dado. Assim, ao construir essa hierarquia, você divide suas métricas principais em submétricas, e consegue ter uma visão melhor do seu processo como um todo. E também determinar suas prioridades com maior clareza.
Em geral, quanto mais próxima uma métrica estiver da principal, mais provável será que o dado seja um “acerto”. Vale dizer que os elementos da hierarquia devem consistir em métricas precisamente mensuráveis, e ela sempre é construída de cima para baixo, ou seja, desde objetivos gerais da empresa até as métricas associadas às características individuais.
Por fim, confirme se a métrica que você escolheu para o topo da hierarquia realmente a mais importante.
Por exemplo: você deseja que a “quantidade do pedido” aumente mais do que qualquer outra coisa, e não a “receita total”?
É preciso considerar estes pontos, pois eles são muito importantes na mensuração dos resultados.
Quanto mais clareza você tiver de seus objetivos, mais conseguirá que seu processo de análise de métricas e a mensuração desses resultados trabalhe sempre a seu favor.
