A cena começa em uma sala com um sofá vermelho, um vaso de flores e quadros inócuos como os usados para decorar o consultório de um terapeuta.

Dentro da sala, Michelle Obama ou alguém muito parecido com ela. Usando um top decotado, que deixava visível um sutiã preto, ela se contorcia lascivamente diante da câmera, ostentando seu sorriso inconfundível.

E depois a dublê da ex-primeira-dama dos EUA começou a tirar a roupa.

O vídeo, veiculado no fórum online Reddit, é um dos chamados "deepfakes" --vídeos falsos altamente realistas realizados com a ajuda de software de inteligência artificial. O vídeo foi criado usando um programa chamado FakeApp, que sobrepõe o rosto de Michelle Obama ao corpo de uma atriz de filmes pornográficos. A combinação é impressionante --quem não estivesse informado poderia facilmente imaginar que estava vendo Michelle Obama.

Até recentemente, usar um computador para criar um vídeo realista era uma empreitada trabalhosa e viável apenas em produções de grande orçamento em Hollywood ou para pesquisadores em instituições de ponta. Apps de mídia social como o Snapchat incluem tecnologia rudimentar para sobreposição facial.

Mas, nos últimos meses, uma comunidade de amadores começou a testar o uso de ferramentas mais poderosas, entre as quais o FakeApp --programa criado por um desenvolvedor anônimo, com base em software de fonte aberta desenvolvido pelo Google. O FakeApp torna relativamente simples a criação de manipulações realistas de imagens faciais, sem deixar muitos traços da adulteração, e a custo zero. Desde que uma versão do app foi divulgada no Reddit, em janeiro, ele foi baixado mais de 120 mil vezes, de acordo com seu criador.

Os "deepfakes" são uma das formas mais recentes de manipulação de mídia digital e uma das mais evidentemente abertas a trapaças. Não é difícil imaginar o uso dessa tecnologia para difamar políticos, criar vídeos pornô falsos para fins de revanche ou plantar provas contra alguém em casos criminais. Legisladores já começaram a expressar preocupação sobre o possível uso de "deepfakes" para sabotagem e propaganda política.

Mesmo em sites com padrões morais elásticos, como o Reddit, os "deepfakes" causaram preocupação. Recentemente, o FakeApp causou pânico depois que o site de notícias tecnológicas Motherboard reportou que usuários do app o haviam empregado para criar "deepfakes" pornográficos de celebridades.

O Pornhub, o Twitter e outros sites proibiram rapidamente os vídeos, e o Reddit fechou alguns dos grupos que distribuíam "deepfakes", entre os quais um que tinha quase 100 mil membros.

Exagero

Alguns usuários do Reddit defendem os "deepfakes" e culpam a mídia por exagerar a possibilidade de danos. Outros transferiram seus vídeos a plataformas alternativas, antecipando, com razão, que o Reddit reprimiria sua veiculação, nos termos das regras do site quanto a pornografia não consensual. E alguns poucos usuários expressaram reservas morais quanto à difusão desse tipo de tecnologia.

Mas eles não pararam de fazer vídeos.

Teste do repórter

Depois de passar algumas semanas lendo as mensagens na comunidade de "deepfakes" do Reddit, decidi verificar se seria fácil criar um "deepfake" usando meu próprio rosto --um vídeo não pornográfico, apropriado para o meu local de trabalho.

Comecei por baixar o FakeApp e buscar a ajuda de dois especialistas técnicos. O primeiro é Mark McKeague, colega no departamento de pesquisa e desenvolvimento do New York Times. O segundo é um criador de "deepfakes" que conheci via Reddit e usa o apelido Derpfakes.

Em razão da natureza controvertida dos "deepfakes", Derpfakes não quis revelar seu nome real. Ele ou ela começou a postar vídeos "deepfake" no YouTube algumas semanas atrás; sua especialidade são brincadeiras como Nicolas Cage fazendo o papel de Super-Homem. A conta dele também oferece alguns vídeos de instrução sobre como criar um "deepfake".

O que aprendi é que produzir um "deepfake" não é simples. Mas tampouco requer ciência avançada.

Escolher a fonte de dados correta é crucial. É mais fácil manipular vídeos curtos do que vídeos longos, e cenas gravadas de um só ângulo produzem resultados melhores do que cenas com múltiplos ângulos. A genética também ajuda. Quanto mais os rostos de parecerem, melhor.

Ryan Gosling

Sou um homem branco e de cabelos castanhos, com barba curta. Por isso, Mark e eu decidimos procurar diversos outros caras brancos e com barba por fazer. Começamos por Ryan Gosling. Também enviei a Derpfakes, meu consultor terceirizado sobre" deepfakes", diversas opções de vídeo para que ele me ajudasse a escolher.

Em seguida, tiramos centenas de fotos de meu rosto e recolhemos imagens do rosto de Gosling, usando um vídeo de uma entrevista recente dele na televisão. O FakeApp emprega essas imagens para treinar o modelo de aprendizado profundo e ensiná-lo a emular nossas expressões faciais.

Para obter o maior conjunto de fotos possível, virei meu rosto em ângulos diferentes e posei com o máximo número possível de expressões.

Mark então usou um programa para recortar essas imagens, isolando apenas os rostos, e apagou manualmente as fotos menos nítidas. Em seguida inseriu essas imagens todas no FakeApp. Usamos ao todo 417 fotos minhas e 1.113 de Gosling.

Quando terminamos de inserir as imagens, Mark apertou o botão de "start" do FakeApp e o treinamento começou. A tela do computador se encheu de imagens de meu rosto e do rosto de Gosling, enquanto o programa procurava identificar padrões e semelhanças.

Cerca de oito horas mais tarde, depois que nosso modelo havia sido suficientemente treinado, Mark usou o FakeApp para concluir a combinação entre meu rosto e o corpo de Gosling. O vídeo resultante era bizarro e distorcido, e o rosto de Gosling se tornava visível ocasionalmente. Só uma pessoa praticamente cega confundiria aquele rosto com o meu.

Depois da experiência, entrei em contato com o criador anônimo do FakeApp, por meio do endereço de e-mail que o site oferece. Eu queria saber qual é a sensação de criar uma ferramenta de inteligência artificial muito avançada e vê-la adotada por pornógrafos que não se incomodam demais com a ética.

Um homem me respondeu, se identificando como desenvolvedor de software, em Maryland. Como Derpfakes, ele não me revelou seu nome completo --apenas a inicial. N. Disse ter desenvolvido o FakeApps como experiência criativa e que lamentava ver a comunidade de "deepfakes" do Reddit usando o app para fins nocivos.

"Eu comecei a participar da comunidade que girava em torno desses algoritmos quando ela era muito pequena [menos de 500 pessoas]", escreveu, "e tão logo vi os resultados soube que se tratava de uma tecnologia brilhante que deveria estar disponível para todos. Decidi apostar na ideia, e preparar um pacote de uso fácil para permitir que isso acontecesse."

N. disse que não apoiava o uso do FakeApp para a criação de pornografia não consensual. E disse concordar com a decisão do Reddit de proibir os "deepfakes" explícitos.