No mais recente ano letivo, uma classe de estudantes se mostrou um mistério. Eles trabalham duro, são articulados e melhoram cada vez mais. Mas, curiosamente, esses aprendizes —robôs artificialmente inteligentes— frequentemente têm dificuldades com matemática.

Chatbots como o ChatGPT da OpenAI conseguem escrever poesia, resumir livros e responder perguntas, frequentemente com fluência em nível humano. Esses sistemas conseguem resolver exercícios matemáticos, com base no que aprenderam, mas os resultados podem variar e estar errados.

Eles são ajustados para determinar probabilidades, não para fazer cálculos baseados em regras. Probabilidade não é precisão, e a linguagem é mais flexível e permissiva do que a matemática.

"Os chatbots de IA têm dificuldade com matemática porque nunca foram projetados para isso", disse Kristian Hammond, professor de ciência da computação e pesquisador de inteligência artificial na Universidade Northwestern.

Os cientistas da computação mais inteligentes do mundo, ao que parece, criaram uma IA que é mais voltada para as artes liberais do que para números.

Isso, à primeira vista, é uma ruptura em relação ao passado da computação. Desde que os primeiros computadores apareceram na década de 1940, uma boa definição resumida de computação é "matemática com esteroides".

Os computadores são máquinas de cálculo incansáveis, rápidas e precisas. Fazer cálculos foi por muito tempo o que os computadores realmente fazem bem, superando em muito o desempenho humano.

Tradicionalmente, os computadores foram programados para seguir regras passo a passo e recuperar informações em bancos de dados estruturados. Eles eram poderosos, mas frágeis. Assim, esforços passados em IA empacaram.

No entanto, há mais de uma década, uma abordagem diferente rompeu e começou a proporcionar ganhos impressionantes. A tecnologia por trás disso, chamada rede neural, é vagamente inspirada no cérebro humano.

Esse tipo de IA não é programado com regras rígidas, mas aprende analisando vastas quantidades de dados. Ele gera linguagem, com base em todas as informações que absorveu, prevendo qual palavra ou frase é mais provável de vir a seguir —assim como os humanos fazem.

"Essa tecnologia faz coisas brilhantes, mas não faz tudo", disse Hammond. "Todo mundo quer que a resposta para a IA seja uma coisa só. Isso é bobagem."

Às vezes, os chatbots de IA têm tropeçado com aritmética simples e exercícios que exigem múltiplas etapas para chegar a uma solução, algo recentemente documentado por alguns analistas de tecnologia. A proficiência da IA está melhorando, mas ainda é uma deficiência.

Em um simpósio recente, Kristen DiCerbo, diretora de aprendizado da Khan Academy, uma organização educacional sem fins lucrativos que está testando um tutor e assistente de IA, falou sobre a precisão matemática. "É um problema, como muitos de vocês sabem", disse DiCerbo aos educadores.

Há alguns meses, a Khan Academy fez uma mudança significativa em seu tutor de IA, chamado Khanmigo. Ele envia muitos problemas numéricos para uma calculadora em vez de pedir à IA para resolver as contas.

Enquanto aguardam a conclusão da calculadora, os alunos veem as palavras "doing math" [fazendo as contas] em suas telas e um ícone do Khanmigo balançando a cabeça.

"Estamos realmente usando ferramentas destinadas a fazer contas", disse DiCerbo, que permanece otimista de que os chatbots conversacionais desempenharão um papel importante na educação.

Por mais de um ano, o ChatGPT tem usado uma solução alternativa semelhante para alguns problemas de matemática. Para tarefas como divisão e multiplicação de números grandes, o chatbot pede ajuda a uma calculadora.

A matemática é uma "área importante de pesquisa em andamento", disse a OpenAI em um comunicado, e um campo onde seus cientistas têm feito progressos constantes.

Sua nova versão do GPT alcançou quase 64% de precisão em um banco de dados público de milhares de problemas que exigem percepção visual e raciocínio matemático, disse a empresa. Isso é um aumento em relação aos 58% da versão anterior.

Os chatbots de IA frequentemente se destacam quando consomem vastas quantidades de dados de treinamento relevantes —livros didáticos, exercícios e testes padronizados.

O efeito é que os chatbots viram e analisaram perguntas muito semelhantes, se não as mesmas, antes. Uma versão recente da tecnologia que sustenta o ChatGPT figurou no 89º percentil no teste SAT de matemática para estudantes do ensino médio, disse a empresa.

O desempenho errático da tecnologia em matemática alimenta um debate acalorado na comunidade de IA sobre a melhor maneira de avançar na área. Em termos gerais, existem dois campos.

De um lado estão aqueles que acreditam que as redes neurais avançadas, conhecidas como grandes modelos de linguagem, que alimentam os chatbots de IA são quase um caminho singular para o progresso constante e eventualmente para a inteligência artificial geral, ou AGI, um computador que pode fazer tudo o que o cérebro humano pode fazer. Essa é a visão dominante em grande parte do Vale do Silício.

Mas há céticos que questionam se adicionar mais dados e poder computacional aos grandes modelos de linguagem é suficiente.

Entre eles está Yann LeCun, cientista-chefe de IA da Meta. Os grandes modelos de linguagem, LeCun disse, têm pouco entendimento de lógica e carecem de raciocínio de senso comum.

O que é necessário, ele insiste, é uma abordagem mais ampla, que ele chama de "modelagem do mundo", ou sistemas que possam aprender como o mundo funciona como os humanos fazem. E pode levar uma década ou mais para alcançar.

Enquanto isso, no entanto, a Meta está incorporando assistentes alimentados por IA no Facebook, Instagram e WhatsApp, a partir de seu modelo Llama. Os modelos atuais podem ser falhos, mas ainda fazem muita coisa.