Em um vídeo do TikTok produzido com estilo, Barack Obama —ou uma voz estranhamente parecida com a do ex-presidente dos EUA— pode ser ouvido se defendendo contra uma nova teoria da conspiração explosiva sobre a morte repentina de seu ex-chefe de cozinha.
"Embora eu não possa compreender a base das alegações feitas contra mim", diz a voz, "eu insto a todos a lembrarem da importância da união, compreensão e de não julgar precipitadamente".
Na verdade, a voz não pertence ao ex-presidente. Era uma falsificação convincente, gerada por inteligência artificial usando ferramentas sofisticadas que podem clonar vozes reais para criar marionetes de IA com alguns cliques no mouse.
A tecnologia usada para criar vozes de IA tem ganhado destaque desde que empresas como a ElevenLabs lançaram uma série de novas ferramentas no final do ano passado. Desde então, as falsificações de áudio rapidamente se tornaram uma nova arma no campo da desinformação online, ameaçando potencializar a desinformação política antes das eleições de 2024 nos Estados Unidos, dando aos criadores uma maneira de colocar suas teorias da conspiração na boca de celebridades, apresentadores de notícias e políticos.
O áudio falso se soma às ameaças geradas por IA, como vídeos deepfake, escrita semelhante à humana do ChatGPT e imagens adulteradas de serviços como o Midjourney.
Os observadores de desinformação notaram que o número de vídeos contendo vozes geradas pela inteligência artificial aumentou à medida que produtores de conteúdo e propagadores de desinformação adotam as novas ferramentas. As redes sociais, incluindo o TikTok, estão correndo para sinalizar e rotular esse tipo de conteúdo.
O vídeo que parecia ser de Obama foi descoberto pela NewsGuard, uma empresa que monitora a desinformação online. O vídeo foi publicado por uma das 17 contas do TikTok que promovem alegações infundadas com áudio falso, identificadas pela NewsGuard em um relatório divulgado em setembro.
As contas publicavam principalmente vídeos sobre boatos envolvendo celebridades, usando narração de uma voz de IA, mas também promoviam as informações mentirosas de que Obama é gay e que a apresentadora Oprah Winfrey está envolvida no tráfico de escravos. Os canais receberam centenas de milhões de visualizações e comentários que sugeriam que alguns espectadores acreditavam neles.
Embora as contas não tivessem uma agenda política óbvia, segundo a NewsGuard, o uso de vozes de IA para compartilhar principalmente fofocas e boatos sensacionalistas oferecia um caminho para mal-intencionados que desejam manipular a opinião pública e compartilhar falsidades em massa.
"É uma maneira para essas contas ganharem uma base de seguidores que possa atrair engajamento de um público amplo", analisa Jack Brewster, editor de empresas da NewsGuard. "Uma vez que eles tenham a credibilidade de ter um grande número de seguidores, eles podem se aventurar em conteúdos mais conspiratórios".
O que as plataformas estão fazendo para combater áudios e vídeos falsos?
O TikTok exige rótulos que identifiquem conteúdo realista gerado por IA como falso, mas eles não apareceram nos vídeos sinalizados pela NewsGuard. O TikTok alegou que removeu ou deixou de recomendar várias das contas e vídeos por violarem políticas internas como se passar por organizações de notícias e espalhar informação falsa. Também retirou o vídeo que usava a voz gerada por IA que imitava Obama por violar a política de mídia do TikTok, pois continha conteúdo altamente realista que não foi identificado como alterado ou falso.
"O TikTok é a primeira plataforma a fornecer uma ferramenta para os criadores identificarem conteúdo gerado por IA e é um membro fundador de um novo código de melhores práticas do setor que promove o uso responsável de mídia artificial", explicou Jamie Favazza, porta-voz do TikTok, referindo-se a um framework recentemente introduzido pela organização sem fins lucrativos Partnership on AI.
Embora o relatório da NewsGuard fosse focado no TikTok, que se tornou cada vez mais uma fonte de notícias, conteúdo semelhante foi encontrado se espalhando no YouTube, Instagram e Facebook.
Plataformas como o TikTok permitem conteúdo gerado por IA de pessoas públicas, incluindo apresentadores de telejornais, desde que não espalhem desinformação. Vídeos de paródia mostrando conversas geradas por IA entre políticos, celebridades ou líderes empresariais —alguns já falecidos— se espalharam amplamente desde que as ferramentas se tornaram populares.
O áudio manipulado adiciona uma nova camada aos vídeos enganosos nas plataformas, que já apresentaram versões falsas de Tom Cruise, Elon Musk e apresentadores de telejornais como Gayle King e Norah O'Donnell, ambas da emissora CBS.
O TikTok e outras plataformas têm lidado recentemente com uma série de anúncios enganosos apresentando deepfakes de celebridades como Cruise e a estrela do YouTube Mr. Beast.
O poder dessas tecnologias pode influenciar profundamente os espectadores. "Sabemos que áudio e vídeo são talvez mais marcantes em nossas memórias do que texto", analisou Claire Leibowicz, chefe de IA e integridade da mídia na Partnership on AI, que trabalhou com empresas de tecnologia e mídia em um conjunto de recomendações para criar, compartilhar e distribuir conteúdo gerado por IA.
O TikTok disse, no mês passado, que estava introduzindo uma classificação que os usuários poderiam selecionar para mostrar que seus vídeos usavam IA. Em abril, o aplicativo começou a exigir que os usuários divulgassem mídia manipulada mostrando cenas realistas e proibindo deepfakes de jovens e figuras privadas.
Consultado pelo TikTok para dar conselhos sobre como definir as classificações, o professor de ciência da administração David Rand, do Instituto de Tecnologia de Massachusetts, disse que os rótulos teriam uso limitado quando se tratar de informação falsa porque "as pessoas que estão tentando ser enganosas não vão colocar este aviso".
O TikTok também disse no mês passado que estava testando ferramentas automatizadas para detectar e alertar mídia gerada por IA, o que Rand afirmou que seria mais útil, pelo menos a curto prazo.
O YouTube proíbe anúncios políticos que usam IA e exige que outros anunciantes informem em seus anúncios quando a IA é usada. A Meta, dona do Facebook, incluiu um aviso ao seu conjunto de checagem de fatos em 2020 que descreve se um vídeo está "alterado". Já o X, ex-Twitter, exige que o conteúdo enganoso seja "significativamente e enganosamente alterado, manipulado ou fabricado" para violar suas políticas. A empresa não respondeu aos pedidos de comentário.
Ferramentas a serviço da desinformação
A voz de IA do Obama foi criada usando ferramentas da ElevenLabs, uma empresa que ganhou destaque internacional no final do ano passado com sua ferramenta de texto para fala de IA gratuita capaz de produzir áudio realista em segundos. A ferramenta também permitia que os usuários carregassem gravações da voz de alguém e produzissem uma cópia digital.
Após o lançamento da ferramenta, usuários do 4chan, fórum de mensagens usado por eleitores da direita, se organizaram para criar uma versão falsa da atriz Emma Watson lendo um discurso antissemita.
A ElevenLabs, uma empresa com 27 funcionários e sede na cidade de Nova York, respondeu ao mau uso limitando o recurso de clonagem de voz a usuários pagos. A empresa também lançou uma ferramenta de detecção de IA capaz de identificar conteúdo de inteligência artificial produzido por seus serviços.
"Mais de 99% dos usuários em nossa plataforma estão criando conteúdo interessante, inovador e útil", disse um representante da ElevenLabs em comunicado por e-mail, "mas reconhecemos que existem casos de mau uso e estamos continuamente desenvolvendo e lançando medidas preventivas para contê-los".
Nos testes realizados pelo The New York Times, o detector da ElevenLabs identificou com sucesso o áudio das contas do TikTok como gerado por IA. Mas a ferramenta falhou quando uma música foi adicionada ao clipe ou quando o áudio foi distorcido, sugerindo que os propagadores de desinformação poderiam facilmente escapar da detecção.
Empresas de IA e acadêmicos exploraram outros métodos para identificar áudio falso, com resultados variados. Algumas empresas incluíram uma marca d'água invisível ao áudio de IA, incorporando sinais de que foi gerado por IA. Outros têm pressionado empresas de IA para limitar as vozes que podem ser clonadas, potencialmente proibindo réplicas de políticos como Obama —uma prática já em vigor em algumas ferramentas de geração de imagens, como o Dall-E, que se recusa a gerar certas imagens políticas.
Leibowicz explicou que o áudio gerado por computador era especialmente desafiador de identificar para os ouvintes em comparação com alterações visuais.
"Se fôssemos um podcast, você precisaria de um aviso a cada cinco segundos?", questionou Leibowicz. "Como você tem um sinal em uma longo trecho de áudio que seja consistente?"
Mesmo que as plataformas adotem detectores de IA, a tecnologia deve melhorar constantemente para acompanhar os avanços na geração de IA.
O TikTok disse que estava desenvolvendo novos métodos de detecção internamente e buscando opções de parcerias.
"Grandes empresas de tecnologia que valem bilhões ou até trilhões de dólares não conseguem fazer isso? Isso é meio surpreendente para mim", disse Hafiz Malik, professor da Universidade de Michigan-Dearborn que está desenvolvendo detectores de áudio de IA. "Se eles não querem fazer isso de propósito? Isso é compreensível. Mas eles não conseguem fazer isso? Eu não aceito."
Comentários
Os comentários não representam a opinião do jornal; a responsabilidade é do autor da mensagem.