Vamos entender como os sistemas de IA podem reproduzir e ampliar preconceitos a partir de seus dados
Tem-se discutido bastante casos de algoritmos de Inteligência Artificial que produzem vieses sociais, prejudicando determinados grupos de pessoas das formas mais diversas possíveis ao reproduzir ou ampliar preconceitos e tomar decisões racistas, sexistas ou outras fontes de preconceitos.
Um dos exemplos que ficou famoso é a IA de recrutamento da Amazon, que desfavoreceu as inscrições de mulheres em processos seletivos porque foi treinada em dados de currículos da força de trabalho atual, em sua maioria masculina. Há também os casos em que as previsões algorítmicas de reincidência de criminosos usadas pelos tribunais dos EUA foram questionadas.
Mas como isso acontece? Quais inputs são gerados no sistema pra que ocorram esses outputs carregados de vieses? De forma geral, o AI Lead e Dr. em Filosofia britânico Sam Genway, explica que existem três formas para IA desenvolver preconceitos: dados, algoritmos e pessoas.
Dados
O primeiro lugar onde os vieses podem surgir são os dados usados para treinar o sistema de IA. Esses conjuntos de dados pré-existentes precisam ser suficientes para representar o uso em aplicações futuras, no “mundo real”. Se os conjuntos de dados de testes forem muito pequenos, ficarão mais suscetíveis a vieses quando forem utilizados na prática. Ainda assim, mesmo os maiores conjuntos de dados, recolhidos a partir de histórico, podem – e provavelmente vão – refletir a subjetividade humana e seus preconceitos.
Afinal, a Inteligência Artificial não é preconceituosa por natureza. Ela não discrimina ninguém, é uma programação que executa aquilo para a qual foi concebida, não fazendo juízo de valor de nenhuma forma. A IA não entende se os dados de treinamento são objetivos (como uma medição de temperatura em um processo de fabricação) ou subjetivos (como a decisão de oferecer um empréstimo a alguém). Por isso, temos que buscar olhar além, entendendo quais realidades esses dados refletem.
Os aplicativos de tradução de idiomas são um exemplo desses preconceitos embutidos nos dados, como o Google Tradutor. Ao traduzir as palavras “médico” e “enfermeira”, de idiomas que não possuem gênero para a língua inglesa, automaticamente a tradução se referira a médico como masculino e enfermeira como feminina. Isso porque o aplicativo do Google foi treinado em grandes conjuntos de dados escritos, que refletem preconceitos sociais. É correto notar que, estatisticamente, mais enfermeiras são mulheres (pelo menos por enquanto), mas não é correto assumir que todas as enfermeiras são mulheres. Isso é algo que o Google corrigiu posteriormente.
Um sistema de IA também pode concluir, a partir dos dados disponíveis, que certos grupos étnicos são mais propensos a reincidir na inadimplência nos empréstimos. Embora possa ser verdade em um nível de grupo e do ponto de vista de histórico, isso não significa que um indivíduo seja mais propenso a fazê-lo porque faz parte de um grupo étnico X ou Y. Uma IA usando isso como um fator de tomada de decisão reforça os preconceitos estruturais da sociedade, em vez de ajuda a mitiga-los.
É comum pensar que a solução seja simplesmente remover raça / idade / sexo / etc. do conjunto de dados. Mas não é tão simples. Dados como um currículo ou um formulário de empréstimo contêm muitos fatores que são proxies para esses agrupamentos protegidos, como onde as pessoas vivem, interesses, estilo de escrita, hábitos de consumo, etc.
Eliminar todas essas fontes de preconceito, ao mesmo tempo em que retém dados significativos, é um desafio, mas é a essencial para criar um sistema mais imparcial. Onde os dados de treinamento são provavelmente subjetivos (por exemplo, decisões humanas anteriores), é que se requer pensar sobre quais entradas incluir em um modelo de IA, em vez de começar com tudo, em seguida, identificar os proxies para informações protegidas que precisam ser removidas.
Algoritmos
Os algoritmos podem amplificar os vieses contidos nos dados. Por exemplo, no caso de um classificador treinado em uma seleção de imagens publicas disponíveis de homens e mulheres, que por acaso tende a mostrar mais mulheres na cozinha. A IA foi projetada para maximizar a precisão, de modo que analisa todos os fatores que podem ajudá-lo a tomar uma decisão. Ele pode decidir que as pessoas nas cozinhas têm mais probabilidade de serem mulheres para melhorar sua precisão geral, apesar do fato de haver alguns homens nas cozinhas nos dados de treinamento. Assim, incorpora os estereótipos de gênero de quem tirou as fotos. Ao melhorar a precisão em relação aos dados de treinamento, aumenta o viés.
É possível construir algoritmos para reduzir o preconceito, dizendo-lhes para ignorar certas informações, como artefatos de fundo que indicam cozinhas. Ou mudar o modelo para que ele use apenas certas informações para chegar ao resultado, como apenas o rosto. Ou podemos rodar modelos iniciais e depois avaliá-los, em uma etapa de pós-processamento, para procurar fontes de viés e fazer correções.
Há muitas proxies para certos grupos, então é difícil construir um modelo que esteja ciente de todas as fontes potenciais de viés. Tendo reconhecido o exemplo de mulheres em cozinhas, é fácil pré-processar os dados para evitar que essas informações sejam utilizadas pelo algoritmo. Mas isso só se aplica quando você identifica a cozinha como uma fonte de preconceito. E como ficam todas as outras formas sutis de preconceito que não identificamos? Depender do pré-processamento e pós-processamento de dados pode ser limitante.
Uma alternativa é treinar o modelo para identificar quando ele está aprendendo um viés e sofrer uma penalidade por fazê-lo – da mesma forma que algoritmos sofrem penalidades por fazer previsões incorretas, o que os influencia a melhorar seu desempenho. Isso exige que identifiquemos o que significa para nós que o modelo se comporte de maneira justa e forneçamos esse objetivo ao algoritmo.
Em muitos casos, a IA pode reduzir a interpretação subjetiva dos dados pelos humanos, porque os algoritmos aprendem a considerar apenas as variáveis que melhoram sua precisão preditiva, com base nos dados de treinamento usados. Além disso, algumas evidências mostram que algoritmos podem melhorar a tomada de decisão, tornando-a mais justa no processo. Por exemplo, algoritmos que podem ajudar a reduzir as disparidades raciais no sistema de justiça criminal. Ao contrário das decisões humanas, as decisões feitas pela IA poderiam, em princípio, ser abertas, examinadas e interrogadas.
Pessoas
Quem desenvolve IAs geralmente está focado em atingir um objetivo específico, visando obter o resultado mais preciso com os dados disponíveis. É mais difícil pensar em um contexto mais amplo – não está no radar normalmente. Da mesma forma, existem especialistas em preconceito e ética que poderiam oferecer uma visão valiosa nesta etapa, mas eles não são necessariamente os melhores treinadores de IA.
Nesse sentido, é necessário um aumento na consciência contextual nos desenvolvedores de IA e um reconhecimento da necessidade de envolver especialistas nas modelagens. Assim como alguém que constrói uma IA para prever a falha de um motor a jato trabalharia em estreita colaboração com um engenheiro aeroespacial, também aqueles que automatizam as decisões sobre o destino dos seres humanos devem consultar especialistas em ética, direito, RH, policiamento, etc. formação de engenheiros de IA em questões éticas, uma área que vê um foco cada vez maior em cursos acadêmicos.
Também precisamos perguntar o que significa ser imparcial ou justo. Podemos retornar ao algoritmo de ‘previsão de reincidência’, que ganhou ampla atenção quando a ProPublica realizou um estudo de viés no sistema COMPAS – que fornece scores de risco para reincidência. Seguiu-se um longo debate com acadêmicos e os criadores do COMPAS desafiando veementemente a análise da ProPublica sobre se o sistema apresentava preconceito racial.
As divergências se resumem ao que definimos como justo, o que em si é subjetivo. Acontece que existem muitas definições de justiça e, em geral, nenhum sistema de IA pode satisfazer mais de uma definição ao mesmo tempo. Antes de podermos testar se uma IA está se comportando de maneira justa, precisamos decidir como é o comportamento imparcial. Este é um desafio fundamentalmente humano.
Lidando com o preconceito
Dados, algoritmos e pessoas, as três fontes de vieses, estão relacionadas. E, em última análise, todas se resumem às pessoas, pois são elas que constroem a IA e selecionam os dados de treinamento.
Para lidar com o preconceito e reduzi-lo, precisamos entender as fontes dos dados e os valores ocultos e nuances humanos que eles representam. É preciso questionar preconceitos em cada estágio e identificar onde há necessidade de contribuição de especialistas externos.
Um sistema de IA pode ser tão bom quanto a qualidade de seus dados de entrada. Se pudermos limpar o conjunto de dados de treinamento de suposições conscientes e inconscientes sobre raça, gênero, entre outros, podemos ser capazes de construir um sistema de IA que toma decisões baseadas em dados imparciais.
No entanto, no mundo real, não esperamos que a IA seja completamente imparcial em breve, justamente porque a IA pode ser tão boa quanto os dados e as pessoas que criam os dados. Afinal, humanos estão criando os dados tendenciosos, enquanto algoritmos feitos por outros humanos estão verificando os dados para identificar e remover vieses.
Perfeito não dá para ser, mas o que podemos e devemos fazer é minimizar o viés das IAs. Especialmente aqueles que geram impactos grandes como dar crédito, aprovar em vagas de emprego etc. Essencialmente, isso se resume a ter metodologias sólidas para construir modelos, que exijam a definição de objetivos claros, avaliação rigorosa dos dados (incluindo a avaliação do potencial de polarização), seleção dos algoritmos mais adequados e refinamento contínuo. Sem estruturas apropriadas, existem muitas oportunidades para introduzir preconceitos nos modelos.
Ferramentas para reduzir o preconceito
A IBM lançou uma biblioteca de código aberto para detectar e mitigar vieses em algoritmos de aprendizagem não supervisionados no Github. A biblioteca é chamada AI Fairness 360 e permite que os programadores de IA testem vieses em modelos e conjuntos de dados com um conjunto abrangente de métricas e também possam mitigar vieses com a ajuda de algoritmos empacotados exclusivamente para isso.
O Watson OpenScale, também da IBM, realiza verificação de polarização e mitigação em tempo real quando a IA está tomando suas decisões.
Usando a ferramenta do Google, é possível testar o desempenho em situações hipotéticas, analisar a importância de diferentes recursos de dados e visualizar o comportamento do modelo em vários modelos e subconjuntos de dados de entrada e para diferentes métricas de justiça de ML.
