As três grandes questões da ciência de dados na Cisco

A maioria das empresas utiliza Ciência de Dados para prever o que virá a seguir e para entender o que está acontecendo, mas não está olhando para as causas dos problemas e como resolvê-los. Neste post, contamos como extrair o máximo da metodologia de Data Science a partir do exemplo da Cisco

Daniel Griffin, líder técnico de uma equipe de cientistas de dados que conduz iniciativas de IA para experiência digital de clientes na Cisco, relata no blog da empresa que muitas organizações atualmente alegam ser orientada por dados ou desejam usar dados para tomar decisões mais eficazes sobre seus planos de negócios, operações, produtos e serviços. Porém, o que podemos perceber em uma análise mais profunda é que, em geral, apenas um terço do valor da Ciência de Dados é utilizada. Muitas oportunidades podem passar despercebidas porque os cientistas de dados e estatísticos não são tradicionalmente treinados para responder a algumas das questões com as quais as empresas do setor se preocupam.

A maior parte da análise técnica de dados científicos feita hoje é classificação (rotulagem com valores discretos), regressão (rotulagem com um número) ou reconhecimento de padrões. Essas formas de análise respondem às questões de negócios como ‘posso entender o que está acontecendo’ e ‘posso prever o que acontecerá a seguir’. Exemplos de perguntas são: 

• Posso prever quais clientes irão abandonar?’;

• ‘Posso prever minha receita no próximo trimestre?’;

• ‘Posso prever produtos nos quais os clientes estão interessados?’;

• ‘Há padrões importantes de atividade do cliente?’.

Essas são perguntas extremamente valiosas para as empresas que podem ser respondidas pela ciência de dados. No entanto, a maioria das empresas tem outras duas outras categorias principais de questões importantes que estão sendo totalmente ignoradas. Ou seja, uma vez que um problema foi identificado ou previsto, podemos determinar o que está causando isso? Além disso, podemos tomar medidas para resolver ou prevenir o problema?

Algumas empresas, especialmente as de tecnologia mais avançada, vão um passo além e usam modelos de aprendizado de máquina preditivos e métodos de inferência e análise estatística mais avançados para gerar números descritivos mais avançados. Eles podem ser descritivos de maneiras diferentes, como aprendizado de máquina gerando um número previsto sobre algo que pode acontecer no futuro, enquanto uma estatística descritiva indica o que está acontecendo no presente, mas esses métodos basicamente focam na produção de um número. Mas agir para produzir uma mudança desejada em um ambiente requer mais do que um número. Não é suficiente prever uma métrica de interesse. As empresas querem usar números para tomar decisões. Em outras palavras, as empresas precisam de histórias causais para saber por que uma métrica é assim e como suas ações podem mover essa métrica na direção desejada.

Veja este exemplo:

É um problema de negócios comum: prever o risco de rotatividade de clientes. Para esse problema, um cientista de dados pode reunir muitos dados sobre um cliente e, em seguida, construir um modelo preditivo. Depois que um modelo é desenvolvido, ele é implantado como um serviço de insight em execução contínua e integrado a um processo de negócios.

O processo de negócios é o seguinte: primeiro, o serviço de insight automatizado implantado coleta dados sobre o cliente. Em seguida, ele passa esses dados para o modelo preditivo. O modelo preditivo então gera um risco previsto de número de rotatividade. Esse número é então passado para o gerente da área, que nesse caso pode ser o gerente de renovação. Ele usa a própria intuição para determinar que ação tomar para reduzir o risco de rotatividade. Tudo isso parece bastante simples, mas cadeia de orientação por dados acaba de ser quebrada. Isso não é tomada de decisão baseada em dados, é tomada de decisão baseada em instinto.

Pode parecer natural pensar que passar um número para um humano é como funciona a tomada de decisões baseadas em dados. Um humano vê um número ou gráfico e, em seguida, decide realizar uma ação. Isso implica que eles têm uma ideia sobre como sua ação afetará o número ou gráfico que veem. Portanto, eles estão fazendo um julgamento de causa e efeito sobre sua tomada de decisão e suas ações. No entanto, eles não estão usando nenhum tipo de método matemático para avaliar suas opções. Eles estão simplesmente usando seu julgamento pessoal. O que pode acontecer nesse caso é que um humano pode ver um número, tomar uma decisão e acabar tornando esse número ainda pior. 

Agora, digamos que o cliente do exemplo tenha 70% de probabilidade de abandono e que, provavelmente, a causa foi a experiência ruim com o serviço, mas suponha que o gerente de renovação não saiba disso ainda. Digamos também que o gerente de renovação envie um e-mail de renovação especialmente criado para esse cliente na tentativa de reduzir a probabilidade de desligamento. Parece uma ação razoável a se tomar, certo? No entanto, esse cliente recebe o e-mail e é lembrado de como foi sua experiência ruim e agora está ainda mais irritado com nossa empresa. De repente, a probabilidade de rotatividade aumenta para 90% para esse cliente. Se nenhuma ação fosse realizada ou então uma ação diferente, isso poderia ser melhor.

Então, como resolver esse problema? É preciso incorporar modelos matemáticos e medições ao processo de negócios depois que o número for gerado, coletando dados sobre quais ações estão sendo tomadas, medir sua relação com as métricas importantes e, em seguida, otimizar as ações usando modelos de inferência causal e sistemas de Inteligência Artificial. Como nesta imagem:

Usando uma combinação de métodos de análise matemática é possível otimizar todo o processo usando ciência de dados de ponta a ponta. Os estágios desse processo podem ser abstraídos e generalizados respondendo as três grandes categorias de questões com as quais as empresas se preocupam. Elas parecem bastante óbvias e estão na base da maioria das soluções de problemas no mundo real. No entanto, quase toda a ciência de dados na indústria hoje gira em torno de responder apenas à primeira pergunta.

Exemplo na Cisco

Daniel Griffin, cientista de dados da Cisco conta como faz para responder às três grandes questões da Ciência de Dados em seu trabalho. O principal ponto é para entender e prever as renovações de produtos e serviços, impactando diretamente nas métricas de churn.

Pergunta 1: O que está acontecendo ou irá acontecer?

A principal questão que normalmente se coloca a uma equipe de cientistas de dados é: ‘podemos prever com precisão quais clientes renovarão e quais não?’. Embora esta seja uma pergunta primária feita pela empresa, há muitas outras questões que se enquadram na área de previsão e mineração de padrões, incluindo:

1. Quanta receita podemos esperar das renovações?

2. Qual é o limite superior / inferior da receita esperada prevista pelos modelos?

3. Quais são os atributos semelhantes entre os clientes com probabilidade de se desligar ou não?

4. Quais são as estatísticas descritivas para clientes com probabilidade de abandono versus não abandono coletivamente, em cada agrupamento de rótulo e em cada agrupamento não supervisionado?

Essas questões podem ser respondidas sistematicamente enquadrando-as como problemas de previsão ou mineração de padrões e usando a ampla variedade de métodos que os cientistas de dados já estão familiarizados, por ser mais comum de ocorrer nas empresas. As próximas perguntas já não são tão óbvias.

Pergunta 2: Por que isso está acontecendo ou vai acontecer?

A próxima pergunta imediata: ‘por que os clientes tendem ou não a se desligar’? Para cada questão para a qual podemos construir um modelo, também podemos realizar uma análise causal. Assim, já podemos potencialmente dobrar o valor que um projeto de ciência de dados retorna simplesmente adicionando uma análise causal a cada modelo preditivo construído. Na visão de Griffin, esta questão é tão importante que a maioria dos cientistas de dados está respondendo incorretamente ou está deturpando as informações de associações estatísticas.

O que ocorre, geralmente, é uma desconexão entre o que o stakeholder do negócio pede e o que o cientista de dados fornece por causa de duas interpretações diferentes do termo ‘por quê’. Tecnicamente, pode-se argumentar que a importância do recurso mede quais recursos são importantes para ‘por que’ um modelo faz uma previsão, e isso seria correto. No entanto, uma parte interessada do negócio geralmente deseja saber ‘o que está causando a própria métrica’ e não ‘o que está causando a previsão da métrica’. O stakeholder empresarial deseja saber os mecanismos causais que explicam por que uma métrica é um número específico. Isso é algo que a importância de característica absolutamente não responde. A parte interessada deseja usar a compreensão dos mecanismos causais para tomar uma ação para alterar a previsão para ser mais a seu favor. Isso requer uma análise causal. No entanto, a maioria dos cientistas de dados simplesmente pega os recursos com maior importância medida e os apresenta às partes interessadas como se fossem a resposta para sua pergunta causal. Isso é objetivamente errado, mas é repetidamente apresentado aos interessados por estatísticos experientes e cientistas de dados. 

Há uma série de questões que também podem ser feitas e uma análise correspondente que pode ser realizada, incluindo:

1. Como as variáveis estão correlacionadas entre si e com o rótulo de rotatividade? (Uma questão não causal)

2. Quais são os recursos importantes para a previsão em um modelo em geral? (Uma questão não causal)

3. Quais são os recursos mais importantes para a previsão de um indivíduo? Existem agrupamentos de clientes com relacionamentos locais semelhantes? (Uma questão não causal)

4. Quais são as possíveis variáveis de confusão? (Uma questão causal)

5. Depois de controlar as variáveis de confusão, como as previsões mudam? (Uma questão não causal que se beneficia de métodos causais)

6. Como é a estrutura da rede de bayes causais? Quais são todas as estruturas razoáveis? (Uma questão causal)

7. Quais são as estimativas de efeito causal entre as variáveis? E entre as variáveis e o rótulo da classe? (Uma questão causal).

Muitas dessas perguntas podem ser respondidas no todo ou em parte por uma análise causal completa usando métodos de inferência causal e, posteriormente, multiplicar o valor retornado por um projeto de ciência de dados específico.

Pergunta 3: como podemos agir para melhorar as métricas?

A terceira pergunta a ser respondida é: ‘que ações uma parte interessada pode realizar para evitar a rotatividade’? Esta é, em última análise, a mais valiosa das três questões. As duas primeiras perguntas estabelecem o contexto para quem focar e onde focar os esforços. Responder a esta pergunta fornece às partes interessadas um meio direcionado e estatisticamente válido para melhorar as métricas com as quais se preocupam em determinados ambientes complexos. Embora ainda seja desafiador, dados os métodos disponíveis hoje, ele oferece uma das maiores oportunidades de valor. 

Algumas outras questões que podem ser respondidas relacionadas à ação inteligente que as partes interessadas podem estar interessadas incluem:

1. Quais variáveis provavelmente reduzirão o risco de rotatividade se nossas ações puderem influenciá-las?

2. Quais ações têm o maior impacto nas variáveis que provavelmente influenciam o risco de rotatividade ou reduzem o risco de rotatividade diretamente?

3. Quais são as informações contextuais importantes relevantes para realizar uma ação?

4. Quais são as novas ações que devem ser desenvolvidas e testadas na tentativa de influenciar o risco de churn?

5. Quais ações são contraproducentes ou afetam negativamente o risco de rotatividade?

6. Como é a utilidade marginal decrescente de uma ação? Em que ponto uma ação não deve mais ser realizada?

O método certo a ser usado para prescrever ações inteligentes depende muito do problema e do ambiente. Se o ambiente for complexo, os riscos elevados e não houver muita chance de um sistema automatizado ser implementado, os métodos de inferência causal, teoria da decisão, diagramas de influência e análise baseada na teoria dos jogos são bons candidatos. No entanto, se um problema e uma parte interessada estão abertos ao uso de um agente automatizado para aprender e prescrever ações inteligentes, o aprendizado por reforço pode ser uma boa escolha. Embora seja possivelmente a mais valiosa das três grandes questões a serem respondidas, também existe como uma das mais desafiadoras. Ainda há muitas perguntas de pesquisa em aberto relacionadas a responder a essa pergunta, mas a proposição de valor significa que é provável que seja uma área que verá um maior investimento da indústria nos próximos anos.

Experiência do cliente e Data Science na Cisco

Daniel Griffin conta que a Cisco possui muitos modelos para responder à primeira das três grandes perguntas. A equipe de ciência de dados da jornada do ciclo de vida digital tem muitos modelos preditivos para entender os clientes da Cisco. Isso inclui a análise do comportamento de compra do cliente, atividade digital, telemetria, interação de suporte e atividade de renovação usando uma ampla variedade de algoritmos baseados em aprendizado de máquina.

Abaixo, segue o relato de Griffin sobre a experiência interna na Cisco:

“Aplicamos as melhores e mais recentes formas de estatística avançada e métodos de aprendizagem supervisionada baseados em aprendizagem profunda para compreender e prever o comportamento esperado de nossos clientes, suas interações com a Cisco e suas interações com produtos e serviços Cisco. Damos um passo adiante nessa área ao tentar quantificar e prever métricas valiosas para a Cisco e para os clientes da Cisco. Por exemplo, prevemos métricas como a forma como um cliente vai continuar progredindo através do envolvimento esperado com seu produto nos próximos dias e nas próximas semanas. Esta é apenas uma das muitas métricas que estamos tentando entender sobre a experiência do cliente. Outros incluem satisfação do cliente, saúde do cliente, ROI do cliente, métricas de renovação e muitos outros. Essas métricas nos permitem entender onde pode haver problemas em nossa jornada, para que possamos começar a tentar aplicar métodos de ciência de dados para responder às perguntas de ‘por que’ e ‘ação inteligente’.

Também estamos usando causalidade para tentar entender a experiência do cliente da Cisco e o que causa uma experiência boa ou ruim para o cliente. Damos um passo além ao tentar completar a cadeia causal de raciocínio para quantificar como a experiência do cliente faz com que as métricas de negócios da Cisco aumentem e diminuam. Por exemplo, usamos métodos de inferência causal para medir os aspectos de causa e efeito do comportamento do cliente, utilização do produto e compromissos digitais na probabilidade de um cliente renovar os serviços Cisco. Usando a inferência causal, estamos obtendo insights mais profundos sobre o que está causando o sucesso ou o fracasso de nossos clientes e da Cisco, e estamos usando essas informações para orientar nossa estratégia para maximizar a experiência do cliente.

Finalmente, para responder à terceira das três grandes questões, estamos empregando causalidade, teoria de decisão estatística, teoria de agente inteligente e aprendizado de reforço para obter visibilidade do impacto que nossas atividades têm em ajudar nossos clientes e melhorar as métricas de negócios da Cisco, e para aprender para prescrever ações ideais ao longo do tempo para maximizar essas métricas. Desenvolvemos sistemas de ação inteligentes que estamos trabalhando para integrar com nossas jornadas de engajamento de e-mail digital para otimizar nossas interações com clientes para ajudá-los a obter um retorno sobre o investimento. Estamos, em geral, aplicando este sistema de agente inteligente avançado para quantificar o impacto de nossas interações digitais e para prescrever os compromissos de clientes digitais certos para ter, com o conteúdo mais eficaz, no momento certo, na ordem certa, personalizado para cada cliente individualmente”.

As empresas que decidirem enquadrar seus problemas em torno dessas três grandes questões de Ciência de Dados terão uma vantagem competitiva muito importante em sua jornada para se tornarem orientadas a dados. Ao responder a todo o conjunto de perguntas de ponta a ponta com as quais as empresas se preocupam, elas podem ser matematicamente estratégicas na forma como aplicam a Ciência de Dados para entender seus dados e tomar decisões usando esses dados.