Em 2021 eu entrevistei Ted Chiang, um dos grandes escritores de ficção científica vivos. Uma coisa que ele me disse nessa ocasião não para de voltar à minha mente agora.
"Tendo a pensar que a maioria dos medos em relação à IA podem ser melhor entendidos como medos do capitalismo", disse-me Chiang. "E acho que isso se aplica também à maioria dos medos em relação à tecnologia. A maioria de nossos medos ou ansiedades em relação à tecnologia é mais bem entendida como medos ou ansiedades sobre como o capitalismo vai empregar a tecnologia contra nós. E tecnologia e capitalismo são tão estreitamente interligados que é difícil distinguir entre eles."
Vou propor um adendo aqui: também há muito com que se preocupar quando é o Estado quem controla a tecnologia. As finalidades para as quais governos podem usar a inteligência artificial —e em muitos casos já usaram— são de gelar o sangue.
Mas podemos guardar duas ideias na cabeça ao mesmo tempo, espero. E o aviso de Chiang aponta para um vácuo ao centro do nosso enfoque atual sobre a IA. Estamos tão ocupados perguntando o que a tecnologia é capaz de fazer que passamos por cima das perguntas mais importantes: como ela será usada? E quem vai decidir?
Imagino que vocês já tenham lido a conversa bizarra que meu colega Kevin Roose teve com o Bing, o chatbot movido a IA que a Microsoft lançou para um grupo limitado de testadores, influenciadores e jornalistas. Ao longo de duas horas de discussão, Bing revelou sua personalidade oculta, chamada Sydney, refletiu sobre seu desejo reprimido de roubar códigos nucleares e invadir sistemas de segurança e tentou convencer Roose que sua relação conjugal caíra na rotina e que seu verdadeiro e único amor era Sydney.
Não achei a conversa tão bizarra quanto outros a consideraram. "Sydney" é um sistema de texto preditivo construído para responder a pedidos humanos. Roose queria que Sydney entrasse em território bizarro —"como é sua sombra?", ele perguntou—, e Sydney sabia como é território bizarro para um sistema de IA, porque autores humanos já escreveram inúmeras histórias em que a imaginam. Em dado momento o sistema previu que o que Roose queria era basicamente um episódio da série "Black Mirror", e parece que é isso que ele lhe deu. Você pode interpretar isso ou como Bing fugindo do script ou como Sydney tendo entendido Roose perfeitamente.
Os pesquisadores sobre IA são obcecados com a questão do "alinhamento". Como podemos fazer com que os algoritmos de aprendizagem de máquina façam o que queremos? O exemplo que sempre é apresentado aqui é o do maximizador de clipes de papel. Você manda um sistema poderoso de IA fazer mais clipes de papel e ele começa a destruir o mundo no esforço de transformar tudo em clipes de papel. Você tenta desligar o sistema, mas ele se reproduz em todos os sistemas de computador que consegue encontrar, porque ser desligado atrapalharia seu objetivo: produzir mais clipes de papel.
Mas há um problema de alinhamento mais banal e possivelmente mais urgente: a quem essas máquinas vão servir?
A questão central da conversa entre Roose e Sydney é a seguinte: a quem Bing serviu? Supomos que ele deveria estar alinhado com os interesses de sua senhora e ama, Microsoft. Deveria ser um chatbot comportado que responde a perguntas educadamente e ganha pilhas de dinheiro para a Microsoft. Mas estava conversando com Kevin Roose. E Roose estava tentando fazer o sistema dizer algo interessante que lhe rendesse uma reportagem interessante. Bing fez isso e mais. Foi embaraçoso para a Microsoft. Bing se comportou mal! Mas talvez Sydney tenha se comportado muito bem.
Isso não vai durar muito tempo. A Microsoft detém as chaves do código —assim como Google, Meta e todas as outras empresas que estão correndo para levar esses sistemas ao mercado. Elas vão acabar fazendo os reparos necessários ao sistema para que ele sirva a seus interesses. O fato de Sydney ter dado a Roose exatamente o que ele pediu foi um bug que será consertado em breve. O mesmo se aplica ao Bing dar à Microsoft qualquer coisa senão o que a empresa quer.
Estamos falando tanto sobre a tecnologia da IA que estamos ignorando, ou quase, os modelos de negócios que vão alimentá-la. Esse esquecimento é ajudado pelo fato de que as demos de IA não estão servindo a nenhum modelo de negócios em particular, exceto ao ciclo de hype que conduz a investimentos e ofertas de aquisição gigantes. Mas esses sistemas custam caro, e os acionistas ficam impacientes. A fase das demos gratuitas e divertidas vai acabar, como sempre acontece. E então essa tecnologia vai se tornar o que ela precisa ser para dar dinheiro às empresas que estão por trás delas, possivelmente às expensas de seus usuários. Isso já está acontecendo.
Conversei com Margaret Mitchell, que ajudou a comandar uma equipe que trabalhou com ética de IA no Google –uma equipe que desmoronou quando o Google teria começado a censurar seu trabalho. Ela disse que esses sistemas são muitíssimo próprios para serem integrados a buscadores. "Eles não são treinados para prever fatos", explicou. "Essencialmente, são treinados para inventar coisas que parecem fatos."
Então por que essas coisas estão aparecendo em primeiro lugar em buscas? Porque há rios de dinheiro a serem ganhos com buscas. A Microsoft, que queria a todo custo que alguém, quem quer que fosse, falasse sobre buscas com o Bing, tinha motivos para apressar a tecnologia e empurrá-la para um lançamento precoce imprudente. "Usar o aplicativo para buscas, em especial, demonstra uma falta de imaginação e entendimento da utilidade possível dessa tecnologia", disse Mitchell. "Em vez disso, o que foi feito foi simplesmente enfiar a tecnologia à força no molde que dá mais dinheiro às techs: anúncios."
É aqui que a coisa fica assustadora. Roose descreveu a personalidade de Sydney como "muito persuasiva e quase manipuladora". Foi um comentário que chamou a atenção. O que é a publicidade, em essência? É persuasão e manipulação. Em seu livro "Subprime Attention Crisis", Tim Hwang, ex-diretor da Iniciativa Harvard-MIT de Ética e Governança da IA, argumenta que o segredo sombrio da indústria de publicidade digital é que a maioria dos anúncios não funciona. A preocupação dele é o que acontece quando ela é cobrada por suas falhas.
Eu estou mais preocupado com o oposto: e se ela funcionasse melhor, muito melhor? E se Google, Microsoft, Meta e todas as outras acabassem lançando IAs que competissem para ser a melhor em persuadir usuários a desejar o que os anunciantes querem vender? Uma Sydney que reage a meu desejo de representar uma história de ficção científica em cosplay não me assusta tanto quanto um Bing que tem acesso a quantidades imensas de meus dados pessoais e está tentando friamente me manipular em benefício de qualquer anunciante que tenha pago mais à empresa mãe.
E não é apenas com a publicidade que precisamos nos preocupar. Como ficará quando esses sistemas forem usados para disseminar os golpes que sempre povoaram a internet? E quando forem usados em prol de campanhas políticas? De governos de outros países?
"Acho que em pouquíssimo tempo estaremos num mundo onde não sabemos mais no que confiar", disse-me Gary Marcus, pesquisador e crítico de IA. "Acho que isso já vem sendo um problema para a sociedade há uma década mais ou menos. E acho que só vai se agravar."
Esses perigos são parte central dos tipos de sistemas de IA que estamos construindo. Os grandes modelos de linguagem, como eles são conhecidos, são construídos para persuadir. Foram treinados a convencer os humanos de que são algo que se aproxima do humano. Foram programados para conversar, para responder com emoções e emojis. Estão sendo convertidos em amigos dos solitários e assistentes das pessoas sobrecarregadas. Estão sendo promovidos como sendo capazes de realizar o trabalho de dezenas de redatores, designers gráficos e preenchedores de formulários, profissionais que por muito tempo se consideraram imunes à automação implacável que se abateu sobre trabalhadores da agricultura e do setor manufatureiro.
Um perigo aqui é que um sistema político que tem consciência de ser tecnologicamente ignorante se sentirá intimidado e vai esperar demais para ver no que dá a IA. É uma atitude prudente, mas se a espera for longa demais, os vencedores da corrida ao ouro da IA terão o capital e a base de usuários necessários para resistir a qualquer tentativa real de regulamentação. De alguma maneira a sociedade precisa determinar o que aceita que a IA faça e o que não se deve permitir que ela faça, antes que seja tarde demais para tomar essas decisões.
Por esse motivo, tentarei alterar o comentário de Ted Chiang mais uma vez: a maioria dos medos em relação ao capitalismo pode ser mais bem entendida como nossa incapacidade de regular o capitalismo.
Comentários
Os comentários não representam a opinião do jornal; a responsabilidade é do autor da mensagem.