O mundo está se digitalizando mais rápido do que nunca. Mais de 4 bilhões de pessoas estão conectadas à internet, cerca de 2 bilhões estão concentrados em grandes redes sociais e mais de um quarto da economia global já é digital. No entanto, precisamos atentar também para o lado sombrio desse novo mundo. As ameaças e crimes cibernéticos estão explodindo e diversas plataformas digitais estão sendo usadas por governos populistas-autoritários ou ditatoriais, e por grupos extremistas.

Mas não é só: na área de segurança pública, o debate sobre os prós e contras da digitalização se faz urgente. Na última década, vimos um aumento maciço no uso de tecnologias de reconhecimento facial, circuitos fechados de monitoramento, biometria, policiamento em manchas criminais, câmeras corporais para policiais, análises criminais preditivas, entre outras. Muitas dessas tecnologias visam de um lado aumentar a efetividade, responsabilidade e transparência da ação policial, e de outro proteger pessoas, seus bens e propriedades.

A importância dessa discussão foi destacada nas últimas semanas nos EUA e mundo afora. Só sabemos o que ocorreu exatamente com George Floyd pela combinação de imagens gravadas por cidadãos e pelas câmeras policiais. Mas, se de um lado temos um bom exemplo de como a tecnologia pode ajudar na responsabilização ou diminuição da brutalidade policial, de outro, os limites e deficiências no design e aplicação de algumas dessas tecnologias podem exacerbar injustiças.

Por exemplo, avaliações de vários softwares de reconhecimento facial mostram que os algoritmos apresentam maiores erros de identificação entre pessoas negras. Como sociedade não podemos aceitar que essa diferença seja tratada como um dano colateral de avanços tecnológicos. O erro produz consequências muito concretas e reais na vida das pessoas.

O projeto Gender Shades nos EUA foi um dos precursores nesse debate, ao mostrar como o reconhecimento facial erra mais quando tenta reconhecer pessoas negras, mulheres e pessoas trans. Em resposta aos protestos das últimas semanas, empresas como a Amazon, a IBM e a Microsoft anunciaram que interromperiam o fornecimento de serviços de reconhecimento facial para fins de segurança pública.

No Brasil, o uso do reconhecimento facial está apenas começando. O Carnaval de 2019 foi o ápice da implementação do reconhecimento facial e outras tecnologias de monitoramento em diferentes estados no país. Seus resultados foram amplamente comemorados. No entanto, levantamento do Instituto Igarapé sobre o tema mostra que, por ora, não há estudos sistemáticos no Brasil sobre a eficácia desse tipo de tecnologia na prevenção e redução de delitos. Falta transparência quanto ao seu funcionamento, erros e recursos investidos.

Além disso, os primeiros resultados da aplicação dessas tecnologias dentro e fora do país levantam questões importantes sobre um possível viés racial. É fundamental que empresas que desenvolvem os algoritmos dessas plataformas tecnológicas usem bases de dados diversas para treinar esses sistemas. Só assim podem ajudar a romper com padrões sociais de discriminação.

Governos e empresas podem intencional ou involuntariamente implantar tecnologias que discriminam. Plataformas tecnológicas têm ajudado a minar democracias, determinar o comportamento do consumidor e a maneira como interagimos socialmente. Os riscos aumentam exponencialmente quando a tecnologia é usada na segurança pública, área na qual erros e abusos custam vidas.