O imperativo por trás da necessidade de entendimento dos algoritmos é accountability. É preciso confiar em decisões algorítmicas e fornecer recursos para que decisões baseadas em Inteligência Artificial sejam contestadas.
Uma das maiores fontes de ansiedade a respeito da Inteligência Artificial é a dificuldade em entender como foram realizadas as decisões tomadas por esses sistemas. Algoritmos de machine learning são às vezes chamados de caixa preta, porque se assemelham a um sistema fechado que recebe uma entrada e produz uma saída, sem oferecer necessariamente uma explicação sobre os motivos que levaram à tal decisão. A Harvard Business Review levantou recentemente um interessante panorama desse problema.
Ao contrário de um sistema codificado manualmente, é quase impossível observar uma rede neural e ver como ela funciona. Ela é composta por milhares de neurônios simulados, dispostos em camadas interconectadas, que recebem inúmeros sinais alimentados em camadas subsequentes até que uma decisão final seja alcançada.
Um exemplo prático é a plataforma de machine learning Deep Patient, desenvolvida no Hospital Mount Sinai, em Nova York. Ela foi treinada por meio de registros de saúde de 700.000 pacientes e tornou-se especialista em previsão de doenças. Ela é capaz de descobrir padrões ocultos nos dados do hospital e, assim, fornecer alertas precoces para pacientes com risco de uma grande variedade de doenças – sem orientação humana.
Para a surpresa dos envolvidos no projeto, o Deep Patient aprendeu a prever o aparecimento de certos distúrbios psiquiátricos como a esquizofrenia, que são notoriamente difíceis até mesmo para médicos especialistas. Nesse caso, o desafio é reconhecer a eficácia do sistema e ao mesmo tempo confiar em um software cujos administradores não entendem completamente como funciona.
O imperativo por trás da necessidade de entendimento dos algoritmos é accountability. A questão não é somente garantir aos líderes que possam confiar em decisões algorítmicas, mas fornecer recursos para que decisões baseadas em Inteligência Artificial sejam contestadas.
O filósofo sueco Nick Bostrom propôs um consagrado exercício de pensamento chamado “Paperclip Maximizer”. Ele descreve como um mecanismo de Inteligência Artificial poderia destruir o mundo após receber a instrução de fabricar clipes de papel da maneira mais eficiente possível. Primeiro, o sistema começaria a transformar toda a Terra em clipes de papel e, depois, avançaria em direção ao espaço para também para também transformá-lo em instalações de fabricação de clipes de papel.
O exercício pode soar um exagero da ficção científica, mas traz à tona a pergunta mais importante que deve ser feita para equipes que projetam soluções automatizadas: qual é o objetivo da otimização?
Soluções
Já existem diversas iniciativas com o intuito de auditar e explicar sistemas de machine learning, especialmente em áreas cuja utilização é sensível. Por exemplo, a norte-americana DARPA (Agência de Projetos de Pesquisa Avançada de Defesa) atualmente financia um programa chamado Explainable Artificial Intelligence – ou XAI. Ele foi criado com o intuito de interpretar o aprendizado de drones e de operações de mineração de inteligência.
O sistema tem a preocupação de explicar sua lógica, caracterizar seus pontos fortes e fracos e transmitir uma compreensão de como eles se comportarão no futuro. Assim, seria capaz de produzir modelos mais explicáveis.
Outro programa da DARPA é um sistema projetado para classificar uma mensagem de email como proveniente de um terrorista. O sistema poderia usar muitos milhões de mensagens em seu treinamento e tomada de decisão. Porém, uma abordagem explicativa poderia destacar determinadas palavras-chave que foram encontradas em uma mensagem e levaram à determinada classificação.
Em 2015, pesquisadores do Google modificaram um algoritmo de reconhecimento de imagem para que, ao invés de localizar objetos nas fotos, gerasse tais objetos. Ao executar o algoritmo ao contrário, seria possível descobrir os recursos utilizados pelo programa para reconhecer, por exemplo, um pássaro.
As imagens resultantes, produzidas por um projeto conhecido como Deep Dream, mostraram animais estranhos, parecidos com alienígenas, que emergiam das plantas. Embora os algoritmos tenham gerado imagens com características visuais familiares, como o bico ou as penas de um pássaro, também sugeriam que os resultados de deep learning poderiam ser diferentes da percepção humana.
Regina Barzilay, professora do MIT, foi diagnosticada com câncer de mama e sua experiência gerou um projeto para entender como métodos estatísticos e machine learning poderiam ajudar na pesquisa oncológica. No entanto, Barzilay entendeu que o sistema precisaria ser capaz de explicar seu raciocínio. Assim, ela acrescentou uma etapa: o sistema extrai e destaca trechos de texto que representam o padrão que ele descobriu.
Uma desvantagem dessas abordagens é que as explicações fornecidas tendem a ser muito simplistas. Logo, algumas informações vitais podem ser perdidas ao longo do caminho. Como diz Carlos Guestrin, professor da Universidade de Washington e administrador de projetos da DARPA, ainda “estamos longe de uma Inteligência Artificial verdadeiramente interpretável”.
Contraponto
Nitzan Mekel-Bobrov, chefe de Inteligência Artificial na emissora de cartões Capital One Financial, contesta a noção de que machine learning é uma caixa preta e insiste que assuntos sensíveis, como decisões de atribuição de crédito, podem ser muito bem interpretados – melhor do que seres humanos.
Segundo o executivo, “uma boa abordagem de deep learning pode nos dar mais conforto do que está acontecendo no sistema do que 1000 regras criadas por humanos ao longo de décadas”. Ele brinca: “Será que realmente achamos que o estado atual dos negócios bancários e do crédito é extremamente fácil de entender para os consumidores?”. Ele acrescenta: “A decisão humana é muito confusa. Você pode retirar isso e tornar as coisas muito mais interpretáveis. Com a sistematização, sinto fortemente que poderíamos tornar as coisas mais explicáveis e interpretáveis”.
Uma área com a qual ele está entusiasmado é na detecção e prevenção de fraudes. “A detecção de fraudes melhorou substancialmente com base em estruturas baseadas em machine learning”, diz Mekel-Bobrov.
No fim das contas
Há quem diga que, tal como muitos aspectos do comportamento humano são impossíveis de explicar em detalhes, talvez não seja possível para a Inteligência Artificial explicar tudo o que faz. Se for assim, em algum momento, talvez tenhamos que simplesmente confiar no julgamento do sistema. Porém, esse julgamento terá que incorporar inteligência social.
Assim como a sociedade se baseia em um contrato de comportamento esperado, precisaremos projetar sistemas de Inteligência Artificial que respeitem e se adequem às nossas normas sociais. Afinal, diferente das complexidades de um algoritmo, debater e decidir sobre as finalidades de um sistema de automatização está absolutamente dentro do conjunto de capacidades dos líderes de negócios.
O Regulamento Geral de Proteção de Dados (RGPD), da União Europeia, que entrou em vigor em 2018, exige que as empresas consigam explicar uma decisão tomada por um de seus algoritmos. Indiscutivelmente, em um futuro próximo, não será possível projetar qualquer tipo de Inteligência Artificial sem uma equipe de engenheiros de privacidade e advogados, além de uma equipe de cientistas.
Os líderes serão desafiados por acionistas, clientes e reguladores sobre o que otimizam. Haverá ações judiciais que exigirão que sejam reveladas as decisões humanas por trás do design dos sistemas de Inteligência Artificial e quais preocupações éticas e sociais foram levadas em consideração. Tal como as origens e métodos pelos quais foram adquiridos os dados de treinamento e quão bem foram monitorados os resultados dos sistemas para traços de preconceito ou discriminação. As decisões devem ser documentadas com cuidado e é fundamental entender os processos algorítmicos utilizados no coração dos negócios.
