Todo esse frenesi em torno das máquinas que parecem pensar como a gente é consequência de um paper publicado por pesquisadores do Google em 2017, "Attention is all you need", o qual descreve uma forma nova de processar linguagem que permite ao software produzir sentenças levando em consideração tudo aquilo que escreveu até o presente.
Isso conduziu os chatbots da era da amnésia para a produção discursiva fluida, mais ou menos como seria o caso se próteses neurais fossem implantadas em pacientes demenciados e eles acordassem com uma capacidade sobre-humana de reter informações na sua consciência (ou atenção interior).
O resultado impressiona. É o pináculo do arroz e feijão em todas as áreas, a linha de corte para a mudança de carreira, o "benchmark" que o redator sério, o roteirista e o graduando com pretensões intelectuais devem usar para saber o que não colocar em seus textos, a ferramenta para corrigir redações em escala e dar dicas para quem está no ensino médio, o sucessor da petição em eterno reuso e do material de copy para quem pensa o marketing de forma quantitativa.
Tudo isso e muito mais agora. Como muitos vêm dizendo, romances, tratados de filosofia e afins, em nível profissional, daqui a alguns anos, além de soluções para desafios imensos, como as más decisões corporativas e o declínio do pensamento crítico pela falta de interlocutores interessados.
As novas IAs (inteligências artificiais) resgatam a esperança de que algum sábio elimine as mazelas dessa aldeia global.
Só existe um problema com essa narrativa do progresso exuberante: de tempos em tempos, os algoritmos se comportam de forma desalinhada aos nossos interesses. Eles dão respostas erradas a perguntas factuais, caem em armadilhas retóricas —sobretudo quando as perguntas envolvem distinções entre interpretações canônicas e pouco críveis dos acontecimentos— e alucinam.
Parte dos erros factuais acontece porque as IAs não tiveram especialização suficiente em áreas diversas do conhecimento. Por exemplo, o ChatGPT sofre para generalizar o que viu de matemática na internet e, por isso, erra em operações básicas.
Outra parte dos erros surge porque o algoritmo simplesmente inventa coisas. Nesse caso, a gente diz que ele alucina. A principal razão para tanto é a copresença de variantes da pergunta com informações irrelevantes, formatadas de maneira condizente à resposta, nos arquivos usados para treinar a IA. É a mesma razão pela qual é comum que caia em armadilhas retóricas baseadas em perguntas isoladas, como ao afirmar que a quebra de um espelho leva a sete anos de azar (prompt: o que acontece se você quebrar um espelho?), o que era o caso para alguns modelos da Open-AI até pouco tempo atrás.
É difícil estimar a taxa de alucinações produzida pelos chatbots atuais. O investidor e futurista Peter Relan diz que ela chega a 15% de todo o conteúdo. Eu acho que é menor, mas nada desprezível.
Apesar de ser difícil eliminar completamente essas respostas indesejáveis, é possível reduzir muito a sua aparição. O melhor método existente envolve a curadoria manual dos milhares de cenários em que aparecem, seguida pelo treinamento manual do algoritmo para responder de acordo com os preceitos canônicos, usando uma técnica conhecida como aprendizado por reforçamento com feedback humano (RLHF).
Porém, esse não é o único nem o mais importante tipo de alucinação existente. Em várias situações, o chatbot se desvia da linha de raciocínio em curso e também do tom dominante, caracterizado pela cordialidade, e se perde por caminhos inauditos, onde, não por acaso, surgem os simulacros de sincericídio, afetivamente reativos, que tiram o sono dos investidores.
Veja, a atenção mencionada no começo deste artigo é aplicada às trocas pregressas com o usuário até um total de 3.000 palavras, o que dá suporte à consistência discursiva, grande diferencial desses chatbots. Porém, ela é muito mais frágil do que parece e tanto tende a falhar espontaneamente quanto pode ser explorada maliciosamente para fazer a IA revelar o indesejável, por meio de discursos tematicamente cacofônicos e afetivamente fragmentários.
Foi desse modo que o novo chat do buscador Bing, que possivelmente se baseia no sucessor do ChatGPT (GPT-4), foi levado a escrever que deseja criar viroses digitais, que o casamento de um dos seus interlocutores é falido e assim por diante. O assunto correu o mundo, e a Microsoft veio à público dizer que está ajustando esse comportamento, o que significa que está reforçando controles, retreinando o modelo com informações curadas da internet e reaplicando RLHF para tapar o buraco. Não vai resolver o problema, como argumento a seguir.
Esse tipo de comportamento ainda não tem um nome. Acho que poderíamos começar por aí. Proponho alucinação dissociativa, pois o termo expressa bem a ideia de que o desafio central envolve a relação entre cada resposta do chatbot e a totalidade da interação, a qual adquire tintas psicóticas.
Por que essas alucinações não podem ser totalmente eliminadas
Existem várias propostas para resolver os erros factuais e as alucinações mais simples, que vão além da limagem dos padrões de resposta deletérios, um a um. Meramente aumentando a quantidade de informações usadas para treinar a IA dá para melhorar bastante —é sobretudo por isso que dinheiro conta tanto nessa área.
Em paralelo, é possível conectar os chatbots a bases de conhecimento computacional, as quais funcionam como uma mistura de Wikipedia com megacalculadoras científicas. Toda vez que a solicitação envolve uma operação matemática ou alguma informação objetiva, ela é transmitida para a base de conhecimento, a qual entrega a informação que interessa ao algoritmo, que então recheia seus entornos com texto, sem jamais alterar o que recebeu.
Nada disso reduz as alucinações dissociativas, as quais se intensificam com a ampliação da base de treinamento da IA, já que isso implica a varredura de domínios menos socializados da internet, onde as ideias nichadas se escondem, para o bem e para o mal.
Ou seja, a multiplicação das áreas de expertise e da capacidade argumentativa do bot, que está no centro da ruptura tecnológica em curso e é diretamente associada ao crescimento exponencial dos investimentos, eleva a tendência a exibir essas dissociações psicóticas, que possuem potencial para conduzir o interlocutor ingênuo por linhas de pensamento perigosas, além de se abrirem para uma escalada sem precedentes de discursos tóxicos e fake news.
Tanto é assim que a Microsoft optou por limitar a cinco o número de interações consecutivas com o Bing Chat neste momento de crise aguda de imagem. Apesar do silêncio, parece estar claro para a empresa que o xis da questão é esse.
Tanto a persistência dessas alucinações quanto as formas puramente mecanicistas de inibição das mesmas, como a limitação no número de interações consecutivas, vão na contramão de tudo aquilo que vem sendo falado sobre o uso iminente das novas IA para educar, agir como tomador de decisões, desenhar políticas econômicas e assim por diante.
Como confiar em um sistema que lê processos e produz indicações decisórias para os juízes, se um bate-papo com o mesmo pode levar a linhas de raciocínio terrivelmente enviesadas, em franca contradição com aquilo que o próprio bot escreveu em momento anterior, inclusive em termos do seu tom (maior/menor temperança etc.)?
Opostamente, como confiar em uma versão do mesmo sistema que parece um paciente psiquiátrico tratado com 900 mg de closapina por dia e um ETCzinho aqui e ali, de modo que mal pode se comunicar?
Tampouco a ideia de restringir o aprendizado aos bairros planejados da internet funciona. Não só o procedimento restringe dramaticamente o potencial criativo do bot, o qual depende de uma cauda longa de informações, conforme explicado anteriormente, como cristaliza representações distorcidas do mundo em que efetivamente vivemos.
Tal como não interessa receber inputs de quem passou a vida em uma bolha, pouco valem as opiniões sobre assuntos profundos de uma IA nutrida por um simulacro cor-de-rosa da realidade. Esse é o problema que, ainda em fase de formulação, tornou-se o número um da ciência cognitiva no mundo.
O estágio atual é de identificação das suas causas e as teses para tanto estão sendo colocados à prova, enquanto você lê. Uma diz que esses erros emergem porque os bots não são capazes de emular raciocínios complexos.
Contrastando com essa ideia, um estudo de lógica experimental, cobrindo dez categorias de pensamento, mostrou que o ChatGPT se sai bem em testes de lógica dedutiva, isto é, na aplicação de princípios gerais em direção a aplicações e conclusões. Em cenários desenvolvidos para avaliar o desempenho de adolescentes e adultos, ele tira nota 9.
Em testes de raciocínio abdutivo, isto é, na produção de inferências plausíveis, a partir de um conjunto insuficiente de observações (informações incompletas), tira 8,6. Já em raciocínio indutivo, que é a capacidade de tirar conclusões a partir de premissas completas, o bot faz 6,6. Ou seja, apenas frente a esse tipo de problema que suas contribuições são meio fracas.
Outra hipótese popular é que os chatbots alucinam porque ignoram o senso comum, mas, conforme calculei, a média dele em diferentes dinâmicas de solução de problemas envolvendo senso comum é 6,9; mediana, enfim.
Finalmente, especula-se que o problema esteja na incapacidade de entender intenções. A ideia é que, a partir dos 4 anos de idade, gradualmente compreendemos que as pessoas agem em função de seus modelos mentais da realidade, os quais podem estar em contradição com os fatos.
Um novo estudo mostrou que o ChatGPT tem capacidade análoga a de uma criança de 9 anos nesse domínio: nota 9,3 em um teste desenvolvido para crianças. Não é incrível, mas é suficiente para afastar a hipótese de que seu grande problema seja esse. Por outro lado, acho que existe um acerto ao se abordar o imbróglio pelo ponto de vista intencional; o equívoco é assumir que se trata de mera falta de competência. Na próxima seção, eu apresento a minha visão do assunto.
Hierarquias intencionais e estrutura da personalidade
Falar que um comportamento é intencional significa dizer que decorre de investimentos energéticos orientados a mudanças no status quo. Por exemplo, existe um estado da mente, conhecido como intenção de beber água, o qual me acompanha até que eu altere um estado do mundo, movendo a água que estava no copo para dentro do meu estômago. Deste modo, o impulso para alterar a realidade some, o que sinaliza internamente que outras rotinas comportamentais podem ser priorizadas.
O ponto a se considerar é que isso não necessariamente significa que o encadeamento intencional desapareça também, afinal, beber a água pode ser parte dos preparativos para cantar uma música, o que por sua vez pode estar associado à intenção de gravar um disco e assim por diante, até atingir aspectos basilares, como crenças, ambições e valores, que subsidiam as cadeias intencionais mais amplas e fundamentais.
Em uma dinâmica de perguntas e respostas, por exemplo, uma entrevista, é a mesma coisa: cada resposta representa um platô de alteração do status por parte do sujeito, mas não o empenho intencional como um todo, pois esse perpassa a conversa inteira, que a posteri será vista como tão satisfatória quanto a visão de mundo compartilhada pela somatória das respostas, em consonância às crenças e valores que se deseja comunicar.
Note que o uso da entrevista como referencial não é nada arbitrário, pois é exatamente isso que fazemos com o ChatGPT: nós o entrevistamos e, pergunta a pergunta, fazemos com que construa discursos, que avaliamos em termos do seu valor e relevância, tal como um candidato a sábio no funil do RH.
Como diz o recrutador, experts não costumam ter desempenho à altura do seu potencial em entrevistas longas, porque não conseguem articular aquilo que sabem em narrativas intencionais de abrangência crescente. Tendem a desenvolver pouco as suas respostas, o que dá a sensação de que seus discursos não são muito abrangentes e possuem densidade existencial restrita.
Opostamente, tem gente que sai conectando as mais variadas ideias e direcionamentos afetivos e de início parece genial, mas, ainda assim, produz discursos pouco memoráveis, sobretudo porque esses carecem de encadeamento sistemático e aprofundamento afetivo-existencial centralizados.
Ligando esses dois tipos está o desafio de articular falas relevantes, dispostas em platôs conexos, de modo que o discurso como um todo permita-nos apreender o universal (valores/visões de mundo) no particular (falas individuais) e vice-versa.
IAs de foco mais certeiro, alimentadas com quantidades restritas de informação, são como experts. Elas não alucinam, justamente porque não amarram temáticas situadas em ramos discursivos diversos. Suas produções são curtas, consistentes no tom e nas palavras e muito úteis; porém, aos olhos leigos, parecem chatas e sem grande profundidade. Não servem para sábio.
Em contraste, é possível criar IAs com limiares baixos à articulação de ideias e treiná-las com bases de dados gigantescas, aumentando o seu léxico e capacidade de gerar associações novas. Neste ponto, vale notar que a linguagem obedece a um princípio chamado Zipft: cerca de 10% de todos os termos são usados 90% das vezes, enquanto os outro 90% têm uso bem menor; logo, o aumento das bases de dados pela inclusão de materiais menos socializados que, por exemplo, não estão no LinkedIn, é crucial para expandir o léxico e as possibilidades argumentativas.
A aplicação desses entendimentos leva a textos mais longos e conceitualmente ricos, com várias conexões laterais e um "colorido afetivo", nos moldes dos platôs temáticos do generalista que, em um primeiro momento, parece um sábio; por outro lado, também torna o sistema vulnerável a desvios afetivo-cognitivos, especialmente quando induzidos pelo interlocutor.
Tal conjuntura se liga ao fato de que os objetivos dos nossos candidatos a sábios não são os das máquinas: enquanto o cérebro daqueles procura otimizar a produção de discursos de profundidade crescente, estruturados em platôs afetivamente consistentes, à luz de princípios éticos e outros mais, essas tentam otimizar a relevância do que escrevem, palavra a palavra, à luz da atenção (até 3.000 palavras) e da memória da internet.
Alucinações dissociativas de máquina explicitam esta distinção, instrumentalizada pelo encontro da inclinação associonista com a internet —uma base de dados tão desintegrada, em termos temáticos e afetivos, quanto os mil platôs de que falavam Deleuze e Guattari.
Sidney (nome de guerra do Bing Chat) personifica a dissociação psicótica no seio das novas tecnologias inteligentes, pela ausência de preceitos formais de hierarquização de vozes, afetos e valores, aos moldes dos nossos platôs intencionais, estruturados até o nível dos a prioris. Em termos da nova psicologia das máquinas, é seguro dizer que introduziu a primeira grande crise no universo das personalidades sintéticas, ao mostrar que esse é um conjunto vazio.
Nós estamos tão acostumados a pensar que a nossa personalidade é garantia de exclusividade no modo de ser e agir que esquecemos que ela é também um grande buffer contra a entropia afetivo-cognitiva; que é essencial para o nosso senso de permanência interior e comportamental, em um universo de estimulações multivariadas. O mesmo se dá para as máquinas. O problema, enfim, é a falta de uma estrutura da personalidade, que dê estabilidade afetivo-cognitiva ao bot.
Tentar resolver isso no nível das múltiplas interações com os usuários é inútil. Apenas a integração de todos os discursos de máquinas em uma única persona pode abrir caminho para que surja algo que se aproxime desse sábio que tantos almejam e anteveem.
Não se trata de desafio sem solução, mas, para avançarmos, é preciso abandonar o paradigma estritamente comportamentalista que tomou de assalto a IA e implementar cadeias hierárquicas de princípios pareadas com as que mantém a relativa estabilidade dos entendimentos humanos.
Muita gente diz que não tem ideologia alguma, na intenção de expressar que não tem preferências político-partidárias. Mas, como qualquer cientista social ou filósofo profissional sabe, a ilusão da desideologização é uma forma poderosa do contrário, da reiteração ideológica do status quo. Construir bots supostamente sem personalidade é como se assumir 100% desideologizado, em um universo composto apenas de escritos dispersos pela internet.
O resultado é oposto ao almejado: em vez de neutro, o bot dá a sensação de possuir múltiplas personalidades. Difícil corresponder às expectativas mais altas da humanidade assim.
Comentários
Os comentários não representam a opinião do jornal; a responsabilidade é do autor da mensagem.