O Notting Hill Carnival é a maior festa de rua da Europa. Celebração da cultura negra do Reino Unido, atrai até 2 milhões de foliões, e milhares de policiais. Na edição de 2017, a polícia metropolitana de Londres colocou em operação um novo tipo de detetive: um algoritmo de reconhecimento facial que vasculhava a multidão em busca de mais de 500 pessoas que eram alvo de mandados de prisão, ou que estavam proibidas de participar do evento. A polícia, que circulava pela área em um furgão equipado com câmeras, esperava apanhar criminosos perigosos, e prevenir futuros crimes.

O experimento não funcionou bem. Das 96 pessoas identificadas pelo algoritmo, só uma podia de fato ser considerada ameaça. Alguns erros eram óbvios, como por exemplo o caso da jovem que foi identificada como se fosse um suspeito homem, e careca. Muita gente foi parada e interrogada, e depois liberada pelos policiais. O único caso de identificação "correta" foi de uma pessoa já tinha sido detida e interrogada pela polícia, e não era mais procurada.

Dado o índice medíocre de sucesso, seria de esperar que a polícia encarasse o experimento com humildade. Pelo contrário: Cressida Dick, a policial de mais alta patente do Reino Unido, disse se sentir "completamente confortável" com o uso desse tipo de tecnologia, argumentando que o público quer que as autoridades policiais utilizem sistemas avançados. Na opinião de Dick, os atrativos do algoritmo importam mais que sua falta de eficácia.

Ela não está sozinha. Um sistema semelhante testado no País de Gales só estava correto em 7% dos casos. Dos 2,47 mil torcedores de futebol selecionados pelo algoritmo, apenas 173 representavam identificações corretas. A polícia galesa defendeu a tecnologia, afirmando que "é claro que nenhum sistema de reconhecimento facial é 100% preciso sob todas as condições". A polícia britânica expandirá o uso desse tipo de tecnologia nos próximos meses, e há outras forças policiais que seguirão seu exemplo. A polícia de Nova York, ao que se sabe, quer acesso ao banco de dados completos de carteiras de habilitação, para ajudar em seu programa de reconhecimento facial.

A avidez das forças policiais quanto a usar uma tecnologia imatura sublinha uma tendência preocupante que você talvez tenha percebido em outros campos. Os seres humanos têm o hábito de confiar no produto de um algoritmo sem questionar muito as consequências.

Basta ver os erros de escrita cuja culpa atribuímos a sistemas de verificação ortográfica, ou as histórias sobre pessoas que obedeceram as instruções de seus sistemas de GPS e caíram de um precipício. Presumimos que os sistemas de reconhecimento facial usados no controle de passaportes sejam precisos simplesmente porque estão nas fronteiras de nossos países.

Não há como duvidar do impacto profundamente positivo dos algoritmos sobre nossas vidas. Podem nos ajudar a diagnosticar câncer de mama, a apanhar assassinos seriais e a evitar desastres aéreos. Mas em nossa pressa por automatizar, substituímos um problema por outro. Os algoritmos —por mais úteis e impressionantes que sejam —já nos causaram muita complicação.

Nossa relutância em questionar o poder de uma máquina deu a algoritmos de péssima qualidade o poder de tomar decisões que podem mudar vidas, e facilitou a ascensão de trapaceiros modernos.

Apesar da ausência de provas científicas em apoio de suas afirmações, empresas vendem a governos e polícias algoritmos que podem supostamente "prever" se alguém é terrorista ou pedófilo com base em seus traços faciais. Outros insistem em que seus algoritmos são capazes de sugerir a mudança de uma linha de diálogo em um roteiro que tornará um filme mais lucrativo nas bilheterias.

Os problemas inerentes dos algoritmos são amplificados quando seu uso se combina à tendência humana a aceitar uma autoridade artificial. Talvez seja esse exatamente o ponto errado: pensar em algoritmos como autoridade. Algoritmos cometerão erros e serão injustos. Com o tempo, melhorarão. Mas admitir que eles, como as pessoas, têm defeitos deveria diminuir nossa confiança cega e resultar em menos erros.

Os melhores resultados surgem quando algoritmos e pessoas trabalham juntos. Redes neurais que digitalizam imagens sobre câncer de mama não foram projetadas para diagnosticar tumores; sua função é avaliar uma vasta gama de células de forma a apontar algumas áreas suspeitas para observação pelo patologista.

É esse o futuro que espero, que algoritmos arrogantes e ditatoriais virem obsoletos. Precisamos questionar as decisões dos algoritmos, esquadrinhar seus motivos, responsabilizar as máquinas por seus erros, e recusar sistemas deficientes. Uma coisa é certa: na era do algoritmo, os seres humanos jamais foram tão importantes.

traduzido do inglês por Paulo Migliacci