Testes e experiências digitais colocam 'mundo real' em risco

Você provavelmente está passando por uma algum teste agora. Organizações realizam inúmeras experiências online, tentando aprender como podem manter nossos olhos grudados na tela, nos convencer a comprar um novo produto ou provocar uma reação às últimas notícias.

Mas muitas vezes fazem isso sem nos avisar — e com consequências não intencionais, e às vezes negativas.

Em um estudo recente, meus colegas e eu examinamos como é possível para uma plataforma de trabalho digital determinar seu próximo emprego, salário e visibilidade para empregadores em potencial. Tais experimentos são frequentemente realizados sem o consentimento ou conhecimento dos trabalhadores — sendo generalizados.

Em 2022, um estudo relatado no New York Times descobriu que a plataforma de networking profissional LinkedIn fez experiências com milhões de usuários sem o conhecimento deles.

Esses testes tiveram um efeito direto nas carreiras dos usuários, afirmaram os autores, com muitos experimentando menos oportunidades de se conectar com empregadores em potencial.

A Uber também fez isso com pagamentos de tarifas, o que muitos motoristas disseram a veículos de mídia que levou a uma redução nos ganhos. Testes de plataformas de mídia social contribuíram para a polarização do conteúdo online e o desenvolvimento de "câmaras de eco", de acordo com pesquisas na revista Nature.

E o Google constantemente faz testes com resultados de pesquisa, o que acadêmicos alemães descobriram que estava colocando sites de spam no topo de seus resultados.

O problema não é a experimentação em si, que pode servir para auxiliar as empresas a tomar decisões baseadas em dados. É que a maioria não tem mecanismos internos ou externos para garantir que os experimentos sejam claramente benéficos para seus usuários, bem como para si mesmas.

Os países também carecem de estruturas regulatórias fortes para governar como as organizações usam experimentos online e os efeitos colaterais que podem ter. Sem proteções, as consequências da experimentação não regulamentada podem ser desastrosas para todos.

Em nosso estudo, quando os trabalhadores se viram cobaias involuntárias, expressaram paranoia, frustração e desprezo por terem seus meios de subsistência sujeitos a experimentação sem conhecimento e consentimento. As consequências se cascavam e afetavam sua renda e bem-estar.

Alguns se recusaram a oferecer ideias de como a plataforma digital poderia melhorar. Outros pararam de acreditar que qualquer mudança fosse real. Em vez disso, buscaram limitar seu engajamento online.

O impacto da experimentação online não regulamentada provavelmente se tornará ainda mais difundido e pronunciado.

A Amazon foi acusada por reguladores dos EUA de usar experimentos para aumentar os preços dos produtos, sufocar a concorrência e aumentar as taxas dos usuários. Golpistas usam experimentação online e digital para se aproveitar de pessoas idosas e vulneráveis.

E, agora, ferramentas de inteligência artificial generativa estão reduzindo o custo de produção de conteúdo para experimentação digital. Algumas organizações estão até mesmo implantando tecnologia que poderia permitir que façam testes com nossas ondas cerebrais.

A maior integração da experimentação representa o que chamamos de "mão experimental" — que pode ter efeitos poderosos sobre trabalhadores, usuários, clientes e sociedade, de maneiras mal compreendidas, mas que podem ter consequências graves. Mesmo com as melhores intenções, sem múltiplos controles e equilíbrios, as consequências dessa cultura atual podem ser desastrosas para as pessoas e a sociedade.

Mas não precisamos abraçar um futuro de Black Mirror no qual cada um de nossos movimentos, interações e pensamentos está sujeito a experimentação exploratória. Organizações e formuladores de políticas seriam sábios em aprender as lições dos erros dos cientistas de meio século atrás.

O infame experimento da Prisão de Stanford de 1971, no qual o professor de psicologia da universidade Philip Zimbardo atribuiu aleatoriamente participantes a um papel de prisioneiro ou guarda de prisão, rapidamente desceu para guardas submetendo prisioneiros a abusos psicológicos atrozes.

Apesar de observar essas consequências, ele não interrompeu o experimento. Foi a estudante de doutorado Christina Maslach, que havia vindo ajudar a conduzir entrevistas, que expressou fortes objeções e contribuiu para o seu encerramento.

A falta de supervisão sobre o design e implementação do experimento acelerou a adoção dos Comitês de Ética em Pesquisa (IRBs) nas universidades. Seu objetivo é garantir que todo experimento envolvendo seres humanos seja conduzido de forma ética e esteja conforme a lei, incluindo a obtenção de consentimento informado dos participantes e permitindo que eles desistam.

Para que os IRBs funcionem além da academia, os líderes das organizações devem garantir que incluam especialistas independentes com diversas expertise para impor os mais altos padrões éticos.

Mas isso não é suficiente. O experimento notório do Facebook em 2012, no qual mediu como os usuários reagiram a mudanças em postagens positivas ou negativas em seu feed, foi aprovado pelo IRB da Universidade de Cornell. A plataforma de mídia social alegou que o acordo dos usuários com os termos de serviço constituía consentimento informado.

Também precisamos de responsabilidade coletiva para garantir que as organizações implementem experimentos eticamente robustos. Os usuários, eles mesmos, muitas vezes são as pessoas mais próximas e informadas para fornecer contribuições. Um grupo diversificado deve ter voz no design de qualquer experimento.

Se as organizações não estiverem dispostas a responder às demandas dos usuários, então aqueles expostos aos experimentos poderiam criar suas próprias plataformas para se manterem informados. Trabalhadores na plataforma de terceirização Amazon Mechanical Turk, conhecida como MTurk, por exemplo, formaram o Turkopticon para criar um sistema de classificação coletiva de empregadores quando o MTurk se recusou a fornecer a eles classificações.

Não deveria ser necessário outro experimento de Zimbardo para incentivar organizações e governos a instituir salvaguardas para experimentação ética. Nem deveriam simplesmente esperar que os reguladores ajam. Maslach não hesitou, e nós também não deveríamos.

Tim Weiss, professor assistente de inovação e empreendedorismo no Imperial College London, e Arvind Karunakaran, professor assistente de ciência e engenharia de gestão na Universidade de Stanford, contribuíram para este artigo.