Muito já se fala sobre a questão ética em IA e é comum atribuir essa explicação a dados de treinamento tendenciosos. Porém, a realidade prática é mais sutil. O viés pode surgir de diversas maneiras.
Já falamos em outro post aqui do blog sobre a polêmica presente em sistemas de Inteligência Artificial, que podem captar preconceitos – ou vieses – de formas semelhantes a uma criança que imita o mau comportamento de adultos. A questão que vamos abordar agora é: como essa reprodução de viés passa das pessoas para a máquina?
Os vieses dentro da IA
O MIT elenca três estágios principais onde este viés pode surgir durante um projeto de IA:
Delimitação do problema
Um dos primeiros passos ao criar um modelo de Machine Learning é decidir o que quer alcançar. Os bancos, por exemplo, querem prever a credibilidade de um cliente, mas é um conceito subjetivo. Para traduzir em algo que possa ser calculado é preciso decidir qual caminho seguir, que pode ser aumentar suas margens de lucro ou aumentar a quantidade de empréstimos que são pagos. Logo, definir a credibilidade é variável de acordo com o contexto.
Coleta dos dados
Duas formas muito comuns de o viés aparecer nos dados de treinamento são que os dados coletados não representam a realidade ou refletem os preconceitos existentes. Se um algoritmo for alimentado com mais fotos de rostos de pele claro do que rostos de pele escura, o sistema de reconhecimento facial será pior ao reconhecer os rostos de pele escura. É uma questão essencialmente técnica, mas pode ser compreendida como racista. Outro caso é o que ocorreu na Amazon, que descobriu que sua ferramenta de recrutamento de talentos estava dispensando candidatas mulheres, pois era treinado em decisões históricas de contratação, que favoreciam os homens e aprendeu a fazer o mesmo.
Preparação dos dados
Também é possível introduzir viés durante o estágio de preparação dos dados, que envolve a seleção de quais atributos o algoritmo vai considerar em seus cálculos. Para modelar a credibilidade, por exemplo, um atributo pode ser a idade, a renda ou o número de empréstimos pagos pelo cliente. No caso da ferramenta de recrutamento da Amazon, um atributo pode ser o sexo, o nível de escolaridade ou os anos de experiência do candidato. A escolha de quais atributos considerar ou ignorar pode influenciar a precisão da previsão da IA.
Os desafios da IA neutra
Criar uma IA neutra, que não considere vieses, é um desafio e tanto para os engenheiros. Há uma série de variáveis que tornam esse processo difícil de corrigir. O contexto social, por exemplo, é algo subjetivo bastante complexo de reproduzir com precisão em dados e utilizá-los na programação da máquina. Um sistema relacionado a empregos ou à justiça, por exemplo, projetado para o Nordeste do Brasil pode ser bem diferente do mesmo sistema projetado para a Região Sul, porque comunidades diferentes têm versões diferentes de sucesso e justiça social. Como traduzir esse contexto em dados sem cair em uma armadilha de portabilidade?
Outro ponto é tornar claro como deve ser a ausência desse viés. Não é uma questão da Ciência da Computação, envolve Filosofia, Ciências Sociais, Direito, Sociologia, Geografia… a questão para a Inteligência Artificial é que isso deve ser definido em termos matemáticos. Bem, o problema se aprofunda porque até mesmo a matemática é subjetiva em sua interpretação, já que há definições numéricas diferentes de justiça que são exclusivas. E cada escolha numérica carrega em si os critérios do analista que está criando o sistema. O número é objetivo, o contexto no qual ele é colocado não.
A equidade significa, por exemplo, que a mesma proporção de indivíduos negros e brancos deve obter altos scores de avaliação de risco? Ou que o mesmo nível de risco deve resultar na mesma pontuação, independente da cor da questão racial? É impossível cumprir as duas definições ao mesmo tempo, então vai ser preciso escolher uma. E aí que entra todo o debate ético em torno da questão. É aí que a IA pode meter os pés pelas mãos.
O que fazer para retirar os vieses
Como prática recomendada é necessário pensar que, se os seres humanos estão envolvidos nas decisões, o viés sempre existe. Para neutralizar isso o primeiro passo é questionar de maneira aberta quais preconceitos atualmente poderiam existir nos processos de uma organização e buscar como podem se manifestar nos dados. Como essa pode ser uma questão delicada, muitas organizações contratam especialistas externos para desafiar suas práticas passadas e atuais.
Uma vez identificados possíveis vieses, as empresas podem bloqueá-los, eliminando dados problemáticos ou removendo componentes específicos do conjunto de dados de entrada.
Os gerentes de uma empresa de cartão de crédito, por exemplo, ao considerar como lidar com pagamentos em atraso ou inadimplentes, podem inicialmente criar um modelo com dados como CEP, tipo de carro ou determinados primeiros nomes – sem reconhecer que esses pontos de dados podem se correlacionar com raça ou sexo. Mas esses dados devem ser retirados, mantendo apenas os dados diretamente relevantes, se os clientes pagarão ou não suas contas, como dados sobre pontuação de crédito ou informações sobre emprego e salário. Dessa forma, as empresas podem criar um modelo sólido de aprendizado de máquina para prever a probabilidade de pagamento e determinar quais clientes de cartão de crédito devem receber planos de pagamento mais flexíveis e quais devem ser encaminhados às agências de cobrança.
A conscientização e a boa governança podem ajudar a evitar o viés de aprendizado de máquina, como estes três passos:
-
Selecionar os dados de treinamento que sejam adequadamente representativos e grandes o suficiente para neutralizar tipos comuns de viés de aprendizado de máquina
-
Testar e validar para garantir que os resultados dos sistemas de aprendizado de máquina não reflitam desvios devido a algoritmos ou conjuntos de dados.
-
Monitorar os sistemas de aprendizado de máquina enquanto eles executam suas tarefas para garantir que os vieses não se espalhem com o tempo, à medida que os sistemas continuam aprendendo enquanto trabalham.
Os casos de discriminação das IAs
Nos EUA, onde a tecnologia está mais avançada, há casos emblemáticos relacionados a discriminações, um assunto amplamente em discussão. Os norte-americanos prendem mais pessoas do que qualquer outro país do mundo. São cerca de 2,2 milhões de adultos presos e outros 4,5 milhões em demais instituições correcionais. A média total corresponde a 1 entre 38 americanos adultos sob alguma forma de supervisão correcional.
Buscando reduzir o número de prisões sem arriscar um aumento na criminalidade, os players do sistema judiciário buscaram ferramentas automatizadas para se tornarem mais eficientes e seguros. Os departamentos de polícia utilizam algoritmos preditivos para saber onde posicionar seu contingente. As agências de segurança usam sistemas de reconhecimento facial para identificar suspeitos pelas ruas. Os tribunais utilizam algoritmos de avaliação de riscos criminais projetados para analisar o perfil dos réus e emitir uma pontuação de reincidência. Com esse score em mãos, um juiz toma uma decisão que determina por qual serviço de reabilitação o réu deve passar, se deve ser mantida na prisão antes do julgamento e qual a gravidade da sentença. Uma pontuação baixa abre caminho para uma pena mais branda em relação a uma pontuação mais alta.
A lógica parece simples: prevendo o comportamento criminoso é possível alocar recursos de forma mais assertiva para reabilitação ou prisão, por exemplo. E também reduz qualquer viés que influencia o processo porque os juízes estão tomando decisões com base em recomendações orientadas por dados e não em seus instintos, preconceitos, pensamentos, etc.
O problema é que as ferramentas são orientadas por algoritmos de Machine Learning treinados em dados históricos de crimes, onde buscam padrões. Porém não é possível afirmar que uma pessoa irá cometer o mesmo crime que outra só por possuir o mesmo perfil – que é mapeado levado em consideração informações como idade, renda familiar, lugar em que mora, escolaridade, antecedentes, etc. Assim, as populações que historicamente são alvos da aplicação da lei de forma desproporcional como as comunidades de baixa renda e minorias, correm risco de receberem altas pontuações de reincidência. E isso pode ocorrer simplesmente porque em um bairro há mais policiamento do que em outro, logo é mais provável que a polícia prenda alguém no local onde está mais presente. Assim o algoritmo pode amplificar e perpetuar vieses e gerar ainda mais dados influenciados por vieses e alimentar um ciclo vicioso.
Esses gráficos mostram que as pontuações dos réus brancos foram inclinadas para as categorias de menor risco. Pontuações para réus negros não foram. (Fonte: análise ProPublica dos dados do condado de Broward, na Flórida).
Há relatos onde pessoas negras que cometeram pequenos delitos receberam pontuação de recorrência maior do que pessoas brancas que cometeram delitos maiores e receberam sentenças diferentes baseado nessa pontuação. Embora os algoritmos não levem em consideração a cor da pele como atributo, o viés se torna polêmico, levantando enormes questionamentos acerca da sua utilização.
Propostas e discussões
O debate ético em torno da Inteligência Artificial é contínuo. Dentro das empresas, a discussão sobre os vieses também acontece e já levou colaboradores de gigantes como Google, Microsoft, Salesforce e Amazon a protestarem contra suas próprias empresas, buscando respostas para as consequências não-intencionais de suas tecnologias.
A discussão ganhou tanto corpo que levou à criação do Ethical OS, um guia que mostra às empresas de tecnologia que é possível prever mudanças futuras no relacionamento humano e que elas podem ajustar seus produtos para causar menos danos quando isso acontecer.
O guia trata dos danos causados pelo impacto social e funciona como uma espécie de pasta de trabalho com listas de verificação, experimentos de pensamento e soluções básicas para equipes de desenvolvimento de produtos, designers, fundadores ou investidores para lidar com o impacto futuro de seus produtos.
Também há o Ethical Explorer Pack, um kit de ferramentas com orientações adicionais sobre como os trabalhadores podem apresentar esses problemas em suas equipes – seja para identificar sinais de alerta logo no início, para debater soluções para possíveis problemas ou definir limites em torno de coisas como controle de dados, vigilância ou desinformação. O kit, que vem como um download digital gratuito ou um baralho de cartas físico, fornece exercícios, atividades e avisos que podem ser usados sozinhos ou com um grupo para orientar as conversas.
Fica a dica: um exemplo que retrata essa questão da IA no sistema judiciário e de segurança é Minority Report – A Nova Lei – filme dirigido por Steven Spielberg com Tom Cruise como protagonista, onde a Polícia utiliza uma espécie de Inteligência Artificial e cria uma divisão pré-crime, onde o culpado é punido antes mesmo de cometer o crime.
