Há uma armadilha escondida nos projetos de Inteligência Artificial que pode colocar a empresa no caminho errado quanto à extração de valor de suas informações. Essa armadilha é sutil e se configura quando o foco está totalmente na precisão dos modelos de previsão e não no impacto comercial em si.
Se fala muito na parte técnica dos dados – como se a discussão ficasse apenas no ‘meio’ e não evoluísse para ‘o fim’ – como se um cientista de dados, ao se deparar com as complexidades do seu modelo, se questionasse em algum momento: “por que mesmo que estou fazendo esse trabalho?”
Isso pode acontecer com as organizações que investem em dados sem perceber totalmente seu potencial para gerar impacto nos negócios. Elas embarcam na construção de uma solução de Inteligência Artificial super moderna, discutindo amplamente o que querem prever e se aprofundando na precisão do modelo, mas sem um padrão de ação muito bem definido.
O caminho deveria ser justamente o contrário: se concentrar nos resultados de negócios desejados e nas ações que um projeto de Inteligência Artificial indica que devem ser tomadas para atingir esses objetivos.
“Todos os modelos estão errados, mas alguns são úteis” –
George EP Box, estatístico.
A Netflix caiu na armadilha
Não é segredo que Netflix é obcecada por modelos de aprendizado de máquina, inclusive já contamos aqui no blog como a empresa de streaming os utiliza para distribuir milhares de trailers e também como aplica Data Science na prática.
Em 2006, a empresa anunciou um prêmio US$ 1 milhão para quem melhorasse a precisão de seu algoritmo de recomendação até então utilizado – o Cinematech – em 10%. O desafio se alastrou globalmente entre os profissionais da área e mais de 40.000 equipes se inscreveram. A competição durou três anos e apenas duas equipes ultrapassaram o limite de precisão, com o vencedor premiado apresentando uma melhoria de precisão de 10,06% no algoritmo de recomendação.
Mas a Netflix descartou o algoritmo vencedor! O motivo? Os custos de engenharia e a complexidade desse algoritmo eram altos demais para sua melhoria de precisão. Em vez disso, a empresa implantou um algoritmo de classificação inferior, que entregou “apenas” 8,43% de melhoria na precisão. Por quê? Era mais simples e mais barato de implementar e ainda assim lhes davam grande vantagem competitiva. Na verdade, foram investidas mais de 2.000 horas para chegar à combinação final de 107 algoritmos.
A armadilha foi que, em 2009, momento em que esta jornada de 3 anos do concurso terminou, o modelo de negócios da Netflix havia mudado do aluguel de DVD para o streaming, diminuindo assim a utilidade desses algoritmos. O ROI do projeto já não valia à pena.
O empreendedor e Chief Decision Scientist indiano, Ganes Kesari, analisa que:
“Hoje, muitas organizações que buscam o aprendizado de máquina são vítimas da falácia da precisão. Eles se concentram estreitamente na precisão do modelo, enquanto desperdiçam recursos preciosos na otimização excessiva. Os líderes empresariais engavetaram boas soluções que não oferecem grande precisão. Essas são oportunidades perdidas em massa para as empresas. Seu modelo de IA / ML pode ser impreciso, mas ainda pode transformar seu negócio para melhor”.
Kesari também indica algumas maneiras de descobrir se um modelo pode ser realmente transformador para a empresa. São elas:
Comparar as precisões do modelo em relação ao desempenho humano
Não é correto tentar entender um número de forma isolada, sem base de comparação. Este é o desafio com a precisão dos modelos. Quando apresentado em porcentagem, espera-se que seja o mais alto possível, como se fossem notas escolares, e corre-se o risco de fazermos uma falsa comparação entre um mundo onde as máquinas cometem erros e um mundo onde os erros nunca acontecem.
Para contextualizar a precisão do modelo, a orientação é compará-lo com a taxa de erro humano para a mesma tarefa dentro da organização. Digamos que a precisão humana para o seu trabalho seja de 81%. Um modelo com 78% de precisão está apenas 3% abaixo do benchmark; não diminuiu tanto como 30%, por exemplo.
Melhorar os resultados com Inteligência Aumentada
As organizações muitas vezes colocam a Inteligência Artificial contra os humanos como uma competição. A comparação até se torna útil, é claro, mas por que não trazer os dois jogadores para o mesmo time?
Essa é a ideia da Inteligência Aumentada, uma parceria centrada no ser humano, que reúne as pessoas e a IA para aprimorar o desempenho cognitivo. Há ótimos exemplos que ocorreram durante a pandemia: a Nature relata como os cirurgiões usaram Sistemas de Navegação Magnética (MNS) para realizar cirurgias cardiovasculares de forma remota. O sistema não apenas fornecia controle e flexibilidade, mas também aumentava a segurança do procedimento. Em cenários onde a precisão do modelo sofre devido à falta de dados suficientes ou alta variabilidade situacional, humanos e modelos podem ser combinados para aumentar a precisão das ações.
Calcular o valor comercial dos resultados do modelo
A etapa final e mais importante é quantificar e medir os resultados de negócios. O modelo de Machine Learning não precisa ser perfeito para agregar valor comercial.
No conglomerado de móveis IKEA, as filas chegaram a ser a terceira razão para os clientes fazerem compras em outro lugar. Os modelos de análise de fluxo ajudaram a prever filas que se formariam em uma loja. Embora o algoritmo não fosse perfeito, as previsões foram muito melhores do que a “intuição” dos gerentes. Isso permitiu que a equipe da loja instituísse práticas de combate às filas, o que reduziu em 30% as reclamações sobre o assunto e se tornou uma ótima ferramenta para aperfeiçoar o atendimento ao cliente.
Por isso, Ganes Kesari recomenda:
“Pergunte a si mesmo qual é o verdadeiro propósito do seu modelo de aprendizado de máquina. Deve ajudá-lo a aumentar as receitas ou reduzir custos? Traduza as melhorias de precisão da rede no impacto comercial que o modelo proporcionará. Quantifique o impacto e isso o ajudará a mudar a conversa de precisão para resultados de negócios”.
Alinhando negócios e dados
Sarah Aerni, Director of Machine Learning and Engineering da Salesforce, diz que é preciso que os líderes de negócios e cientistas de dados sigam quatro pilares principais juntos, que alinharão as organizações em torno de uma abordagem central mais inteligente:
Medir os KIPs: Qual é o resultado comercial que está sendo monitorado e utilizado como medida para rastrear o impacto do modelo?
Intervir com base no que a IA prescreve. Quais alavancas e limitações organizacionais existem e como a IA pode fornecer orientação?
Experimentar para medir o impacto. Construir modelos e implantá-los em experimentos controlados para atribuir impacto ao uso de IA.
Repetir, monitorando, otimizando e experimentando constantemente. Podem ocorrer mudanças de dados e as oportunidades surgem, pois nenhum modelo vive para sempre.
Esses quatro pilares ajudarão os cientistas de dados a levantar questões mais valiosas para seus colegas de negócios e fornecer aos líderes uma compreensão mais profunda do poder da IA na organização.
A própria Netflix aqui sim pode ser citada como um bom exemplo. Ela evolui em inovação de forma acelerada e com grandes vantagens competitivas. Graças a pequenas melhorias contínuas em seus modelos de IA, mais de 80% dos filmes e séries assistidos pelos usuários na plataforma atualmente são descobertos por meio de seu sistema de recomendação.
O aprendizado que fica é que uma empresa que tem a mentalidade de melhorar muitas áreas de negócios de forma rápida e contínua vencerá a equipe que quer resolver um grande problema com perfeição.
