--- title: Os estágios de sofisticação na análise de dados description: Diante de um ambiente tão sofisticado, pode ser desafiador fazer algo óbvio como começar pelo básico url: https://ilumeo.com.br/categorias/2021-09-28-os-estagios-de-sofisticacao-na-analise-de-dados/ markdown_url: https://ilumeo.com.br/categorias/2021-09-28-os-estagios-de-sofisticacao-na-analise-de-dados.md type: post slug: 2021-09-28-os-estagios-de-sofisticacao-na-analise-de-dados author: ilumeo-admin published: 2021-09-28T12:34:43Z modified: 2023-07-28T02:52:20Z language: pt-BR taxonomies: category: - Categorias - Data & Tech word_count: 2219 tokens: 3630 --- # Os estágios de sofisticação na análise de dados   Diante de um ambiente tão sofisticado, pode ser desafiador fazer algo óbvio como começar pelo básico   Em tempos em que somos inundados com tantas notícias e conteúdos de como as empresas sofrem verdadeiras revoluções a partir do uso de dados, é comum que quase todo mundo queira estar por dentro do hype. Mas a questão é que é possível desbloquear muito valor com análises mais simples, sem precisar investir tanto inicialmente em ferramentas, cientistas de dados, inteligência artificial e todo esse aparato. Até porque, praticamente ninguém começa nesse ponto. Alguns chegam em um estágio avançado depois de uma jornada longa. O empresário e data scientist Alexandre Titus escreve no Medium que:   “em mais de 90% dos casos, as pessoas que ouvem o termo análise avançada acham que deveriam entrar nesse trem. Infelizmente, isso pode ser uma perda de tempo e recursos da sua empresa até que você realmente precise deles”.   O ponto aqui não é desestimular que as empresas avancem para um estágio mais avançado no uso de dados, mas sim que comecem de um lugar possível antes de sonhar com totó o potencial que data science pode entregar. É sobre adotar a velha regra de bolso 80/20. Em essência, ganhamos 80% de qualquer benefício com apenas 20% dos insumos. Esse é o caso também quando se trata de análises. Quando se está começando a entender o negócio e trabalhando para desenvolver um método de gerenciamento baseado em dados, é possível obter 80% dos insights que deseja com 20% do esforço. Esse esforço de 20% pode ser uma estatística resumida básica sobre quantos usuários há, quantas vendas foram feitas ou qual foi a receita bruta durante um período de tempo. Então, só depois de maximizar a capacidade de entender o negócio e seus clientes com o trabalho básico, aí se deve passar para um estágio mais avançado de análises.   Fazendo análise do zero Para começar a implementar as análises “do zero”, caso não haja nenhuma estrutura disso na empresa, há algumas questões que podem servir de guia, conforme escreve Peter Gostev. Os objetivos irão evoluir à medida que entendermos que é possível e sensato e o que não é, mas é bom começar a formar uma ideia do que se gostaria de alcançar. Os principais objetivos iniciais podem girar em torno de: Criar relatórios básicos (por exemplo, usuários, conversão, receita); Permitir que os usuários de negócios respondam às suas próprias perguntas sobre dados; Criar uma única fonte para todos os dados e obter uma visão única de um cliente; Encontrar maneiras de tornar a vida mais fácil para futuros cientistas de dados que se juntam a essa equipe; Minimizar o tempo de desenvolvimento de tecnologia e obter tudo isso a um custo razoável para uma startup ou pequena e média empresa. No começo, as empresas podem não conseguir obter insights básicos porque os dados não estão lá ou não estão prontos para serem usados. Esse é um bom passo a ser vencido antes de atrair talentos como cientistas de dados, pois corre-se o risco de profissionais altamente qualificados gastarem seu tempo limpando e reunindo os dados.   Estágios para análises  Tristan Handy aborda como criar a competência analítica dentro da organização. Para ele, CEO da Fishtown Analytics e com larga experiência no setor, as análises de dados dão poder a cada decisão dentro empresa, da estratégica à tática, da sala da diretoria aos funcionários da linha de produção. Logo, não se trata apenas quais métricas monitorar, mas de como fazer com que a empresa as produza. Em artigo no Medium, Handy propõe uma abordagem estágio por estágio de como as startups devem fazer suas análises. Estágio de Fundação (0 a 10 funcionários) Nesta fase, não há recursos e nem tempo. Há um milhão de coisas que poderia ser medido, mas a única coisa aqui é que preciso ter certeza de que está medindo é o produto, porque são as métricas dele que ajudarão a iterar rapidamente nesta fase crítica. Todo o resto pode ficar em segundo plano. O que fazer Instalar o Google Analytics (GA) no site por meio do Gerenciador de tags do Google . Os dados não serão perfeitos sem mais trabalho, mas não é o momento certo para se preocupar com isso. Se for um e-commerce, o GA pode fazer um trabalho decente de rastreamento, desde o visitante até a compra, portanto, dedicar algum tempo para ter certeza de que está certo e trazendo bons dados. O que não fazer Não comprar um data warehouse, uma plataforma de BI, um grande projeto de consultoria e nenhuma extravagância nesse sentido. Aqui é importante manter o foco. Haverá muitas perguntas que simplesmente não será possível responder ainda. E tudo bem por enquanto.     Estágio muito inicial (10 a 20 funcionários) A equipe está crescendo. Essas pessoas precisam de dados para fazer seu trabalho e podem ou não ser especialistas. O importante aqui é ter certeza de fazer certo as coisas básicas. O que fazer Certificar-se de que o time ou a pessoa de marketing possua acesso e bons dados no GA. Importante rastrear as UTM de todos os links criados para trackear as origens dos acessos aos sites e canais da empresa. Mesmo que ninguém seja especialista nesta parte de performance, há informações suficientes na web sobre o GA para se aprender e descobrir. Se houver um ou dois vendedores usando um CRM, a dica é criar relatórios integrados. Aqui o foco é saber coisas básicas como produtividade dos representantes e taxas de conversão por estágio. Tentar manter o máximo possível de dados no próprio CRM, sem utilizar planilhas de Excel. Isso fará a diferença para análises de dados futuras. Se houver alguém na área de Customer Success, é importante escolher KPIs que possam ser medir facilmente dentro da interface das ferramentas de suporte, help desk ou similar. Importante monitorar a satisfação do cliente, pode ser usando o famoso NPS. O que não fazer Ainda é muito cedo para um data warehouse e para análises baseadas em SQL – simplesmente leva muito tempo. Todo o tempo deve ser gasto produzindo, não analisando, e a maneira mais direta de fazer isso é usar os recursos de relatórios integrados dos vários softwares que provavelmente são utilizados para administrar os negócios. Também não é hora de contratar um analista de dados em tempo integral. Existem coisas mais importantes para se investir no momento para tracionar o negócio.   Estágio Inicial (20 a 50 funcionários) É aqui que as coisas ficam interessantes e onde as mudanças nos últimos dois anos realmente começam a se tornar aparentes. Nesse estágio, a empresa começa a ter novas opções. Todas essas opções são orientadas pela tecnologia analítica que está cada vez melhor e mais rápida. Anteriormente, esse tipo de infraestrutura era reservada para empresas muito maiores. E os benefícios são métricas mais confiáveis, mais flexibilidade e uma plataforma melhor para crescimento futuro.   O que fazer Configurar a infraestrutura de dados. Isso significa escolher um data warehouse, uma ferramenta ETL e uma ferramenta de BI.  Contratar um líder de análise. Aqui é valioso encontrar um bom profissional que será capaz de agregar valor no dia 1, mas que também será capaz de contratar a equipe ao seu redor conforme a empresa cresce. Deve ser capaz de arregaçar as mangas e colocar a mão na massa e concentrar-se em contratar alguém que possa pensar sobre os dados e sobre o negócio estrategicamente. Considerar contratar um consultor. Os erros cometidos neste estágio crítico têm sérios custos de tempo e dinheiro à medida que a empresa cresce, por isso é importante estabelecer uma base sólida, especialmente em relação aos componentes do stack de tecnologia e a resolução de problemas de análise. Para fazer isso, mais startups hoje estão optando por trabalhar com consultores para ajudá-los a se preparar e, em seguida, formar uma equipe em torno dessa infraestrutura. O que não fazer A menos que o aprendizado de máquina seja uma parte essencial do produto, não se recomenda contratar um cientista de dados ainda. Aqui é preciso um profissional mais generalista, não um especialista, para formar a equipe de análise. Não construir os próprios pipelines ETL. Isso irá desperdiçar muitas horas de tempo de engenharia. Adquira uma solução já pronta. Não tentar “se safar” usando um banco de dados mais tradicional como data warehouse. Não é muito mais barato e será difícil trocar mais tarde. Estágio intermediário (50 a 150 funcionários) Este estágio é potencialmente o mais desafiador. A equipe ainda é relativamente pequena e tem poucos recursos, mas é necessário fornecer análises cada vez mais sofisticadas e diversificadas para os negócios, e esse trabalho pode impactar diretamente o sucesso ou o fracasso da empresa como um todo. É importante progredir aqui e, ao mesmo tempo, certificar-se de continuar a lançar as bases para as fases futuras do crescimento.  O que fazer Implementar um processo sólido para modelagem de dados baseada em SQL. Aumentar a equipe que pensa o negócio. O núcleo da equipe deve majoritariamente de analistas de BI: pessoas que são especialistas em SQL e na plataforma de BI escolhida. Eles passam seu tempo trabalhando com líderes de negócio para atender suas solicitações de insights e inteligência. Aqui sim se contrata o primeiro cientista de dados e descobrir o perfil dessa pessoa e como equipá-la é extremamente importante. Lembrando que é fundamental ter a equipe de infraestrutura de dados e análise já estabelecida antes de contratar talentos experientes (e caros) em ciência de dados. Começar a enfrentar seletivamente alguns desafios de previsão. A previsão é evidentemente mais difícil do que apenas fazer contagem, mas existem algumas áreas principais nas quais faz sentido começar a mergulhar. Se a empresa é de SaaS, deve-se trabalhar em um modelo de previsão de churn. Se é e-commerce, é absolutamente necessário trabalhar em um modelo de previsão de demanda. Esses modelos provavelmente não serão extremamente sofisticados, mas serão uma grande melhoria em relação aos trabalhos feitos no Excel, Gastar tempo e energia tentando descobrir sua atribuição de marketing. A questão é ampla, mas basta dizer que simplesmente não se pode confiar essa questão crítica de negócios a terceiros. O que não fazer É fácil se deixar levar por você mesmo e começar a investir em infraestrutura de dados robusta. Não faça isso. Nesse estágio, grandes investimentos em infraestrutura ainda são uma distração dispendiosa. Aqui estão algumas sugestões sobre como permanecer ágil: Empurre SQL e seu data warehouse com força. Compre a potência necessária para o data warehouse – pagar por servidores é muito mais barato do que pagar por humanos. Encontre formas de baixo custo para conjuntos de dados ETL que não têm integrações prontas para uso.   Estágio de crescimento (150 a 500 funcionários) Nesse estágio o foco é a criação de processos analíticos em escala. É preciso equilibrar a obtenção das respostas necessárias no momento atual com a implementação de práticas analíticas que serão escalonadas à medida que a equipe continue a crescer. Com 150 funcionários, provavelmente haverá apenas uma pequena equipe (3-6) em tempo integral com foco em análises. Quando houver 500 funcionários, poderá facilmente ter 30 ou mais. 3-6 analistas podem operar de uma maneira bastante ad-hoc, trocando conhecimento (e códigos) informalmente. No momento em que forem mais de 8 analistas, isso começa a se quebrar muito rapidamente. Se essa transição não for bem gerenciada, o desempenho será pior à medida em que a equipe crescer. Levará mais tempo para produzir insights significativos e as respostas serão de qualidade inferior. Isso é simplesmente uma função da complexidade não linear: mais dados sendo produzidos e mais analistas trabalhando com eles. Para combater isso, é preciso processos para mantê-los trabalhando juntos de forma confiável. O que fazer Implementar o teste de dados. Há dados fluindo para o warehouse de pelo menos uma dúzia de fontes neste ponto e é necessário um processo para garantir que os dados que estão sendo carregados continuem em conformidade com as regras esperadas. Se não houver um processo automatizado sólido que verifique essas coisas, a qualidade da análise continuará a degradar sem saber por quê.  Levar a documentação a sério. O ambiente de dados na empresa é complicado. A única maneira de gerenciar esse conhecimento com eficácia e compartilhá-lo com a equipe é investir o tempo e a energia necessários em documentação. Por mais que pareça que esse tipo de processo gera mais sobrecarga de trabalho, na verdade isso é um investimento de tempo. Porque se a documentação não for bem feita, os analistas acabam gastando mais energia descobrindo onde obter determinados dados ou como usá-los do que realmente conduzindo análises. A Airbnb tem feito um excelente trabalho nesta área. Seja assertivo em relação à estrutura da equipe de análise. Existem dois modelos principais de como estruturar uma equipe analítica: centralizado e integrado. Não há uma resposta certa e clara, mas essa decisão será fundamental para a forma como você fornece análises para sua organização em crescimento. Carl Anderson descreve bem as compensações em seu livro Creating a Data-Driven Organization. O que não fazer Calibrar mal o nível de exigência. Fazer análises certas nesse nível é um trabalho árduo e requer uma equipe talentosa e motivada que está constantemente inovando e melhorando. As revisões de código levam tempo e energia. Os analistas não estão acostumados a ter que testar seu código. E a documentação é meticulosa. Haverá resistência em fazer as coisas dessa maneira, especialmente entre os membros de sua equipe de longa data que se lembram dos “bons velhos tempos”. Mas conforme a complexidade aumenta, é preciso evoluir processos para se adaptar. Na verdade, esses processos tornarão a análise mais fácil, rápida e confiável, mas implementá-los será difícil. Se você leva a sério o dimensionamento da análise, vai avançar.