Precisamos falar sobre discriminação algorítmica

Cada vez mais, algoritmos e ferramentas de inteligência artificial afetam aspectos importantes de nossas vidas —de forma transparente ou sem que tenhamos conhecimento. Podemos escolher o ChatGPT para redigir um texto, por exemplo, mas não temos qualquer gerência sobre sistemas sofisticados que selecionam os "melhores" para um emprego a partir de pilhas de currículos ou sobre bancos de dados que "preveem" quem tem mais probabilidade de dar calote em um empréstimo bancário.

Em busca de eficiência e escala, muitos processos vêm sendo automatizados nas últimas décadas. Há aspectos positivos inegáveis em vários deles; mas também desafios e até violências que precisam ser discutidas mais amplamente, como no caso de preconceitos e discriminação perpetuados por modelos matemáticos.

Pesquisadores da Universidade de Chicago e do MIT relataram há mais de 20 anos como sistemas automáticos de análise de currículos tinham preferência por candidatos com nomes tipicamente atribuídos a pessoas brancas nos Estados Unidos, como Emily Walsh e Brendan Baker, em detrimento daqueles com nomes mais associados a afro-americanos, como Lakisha Washington e Jamaal Jones. Esse é um dos exemplos narrados pela cientista de dados Cathy O'Neil em seu livro "Armas de Destruição Matemática" (o título em inglês, "Weapons of Math Destruction", faz alusão ao termo "weapons of mass destruction", ou seja, armas de destruição em massa).

"Os dados não vão desaparecer. Nem os computadores e muito menos a matemática. Modelos preditivos são, cada vez mais, as ferramentas com as quais contaremos para comandar nossas instituições, alocar nossos recursos e gerenciar nossas vidas", cita a autora. "Mas esses modelos são construídos não apenas a partir de dados, mas também de escolhas que fazemos sobre quais dados devemos considerar —e quais não. Essas escolhas não são apenas sobre logística, lucro e eficiência. Elas são fundamentalmente uma questão moral."

É preciso lembrar que racismo, capacitismo, homofobia e outras formas de preconceito não nasceram com a inteligência artificial. Mas é igualmente importante compreender a escala que podem adquirir com esses sistemas.

"O racismo algorítmico é uma espécie de atualização do racismo estrutural, sua ponta de lança na era da datificação da sociedade", afirmou o pesquisador Tarcízio Silva, autor de "Racismo algorítmico: inteligência artificial e discriminação nas redes digitais", em entrevista ao Centro de Estudos Estratégicos da Fiocruz no início deste ano. "Racismo algorítmico não é uma questão de programação ou engenharia. Mais importante que as linhas de código é saber quais são as relações de poder e quais decisões são habilitadas pela implementação de alguma tecnologia."

Daí a necessidade de ampliar o debate sobre letramento algorítmico e dar mais visibilidade a grupos de pesquisa que discutem o tema à luz da justiça e da equidade social.

Um desses grupos é o Center for Critical Race + Digital Studies, que produz pesquisas e sensibiliza a sociedade sobre como raça e identidade moldam e são moldadas pelas tecnologias digitais. Seus pesquisadores chamam atenção para o fato de que algoritmos não são neutros porque carregam valores e escolhas de seus programadores, instituições, da própria cultura e de nossa história.

Eles apontam que só é possível entender o conceito de viés algorítmico a partir da compreensão das estruturas sociais das quais fazemos parte, em que grupos são marginalizados por conta de sua cor, gênero ou opção sexual. E classificam seis tipos de viés, entre os quais o histórico —que surge quando há um desalinhamento entre o mundo tal como é e os valores ou objetivos a serem codificados e propagados num modelo— e o de representação —em que uma população é sub ou mal representada no momento de treinar o modelo.

"Não escaparemos dos horrores do viés algorítmico até que nossa cultura adote um quadro de desenvolvimento tecnológico –um ethos– que enfrente as injustiças históricas e atuais e dê prioridade ao fortalecimento das comunidades", argumentam.

Por isso, da mesma forma como a educação antirracista deve extrapolar a efeméride do Dia da Consciência Negra e fazer parte do dia a dia das escolas além de projetos em torno da data de 20 de novembro, também o letramento algorítmico precisa conquistar mais espaços na formação de crianças e adolescentes. É assim que a sociedade poderá se preparar para usufruir da tecnologia, ao mesmo tempo em que combate preconceitos e discriminação.