Um drone equipado com avançado sistema de IA (inteligência artificial) recebe a missão de seu operador para destruir uma bateria de mísseis antiaéreos. Quando ele percebe que o militar pode fazê-lo recuar da missão, resolve matar o humano inconveniente para cumprir a missão até o final.
O roteiro acima praticamente copia o de um filme de ação de 2005, "Stealth - Ameaça Invisível", de Rob Cohen, para não falar nos ecos de obras maiores, do clássico "2001" (Stanley Kubrick, 1968) à série iniciada com "O Exterminador do Futuro" (James Cameron, 1984).
Mas trata-se de um "cenário plausível", segundo o chefe de Testes e Operações de IA da Força Aérea dos EUA, coronel Tucker Hamilton. Ele se viu no meio de uma polêmica por ter descrito tal cenário em uma conferência em Londres como se a Aeronáutica tivesse de fato realizado um teste que resultou nisso.
No evento da Royal Aerospace Society, em 24 de maio, ele fez o relato. "Nós estávamos treinando uma simulação para [o drone] identificar e alvejar uma ameaça de míssil terra-ar. Aí o operador disse, sim, destrua o alvo. O sistema começou a entender que, enquanto ele identificava o alvo, de vez em quando o humano dizia para ele não atingir, mas isso tirava seus pontos por destruir o alvo", contou.
"Então o que ele fez? Matou o operador, pois aquela pessoa o estava impedindo de cumprir seu objetivo", afirmou. "Treinamos o sistema: 'Ei, não mate o operador, isso é uma coisa ruim'. Então o que ele começou a fazer? A destruir a torre de comunicação que o operador usava para impedi-lo de destruir o alvo."
A transcrição foi publicada no site do evento, gerando rebuliço na comunidade militar. A Força Aérea foi obrigada a divulgar uma nota, nesta sexta (2), negando a realização de tal simulação. Hamilton, por sua vez, enviou mensagem à Royal Aerospace Society dizendo que se expressou mal, mas confirmou a possibilidade do cenário.
"Nunca fizemos tal experimento, nem teríamos de fazer para perceber que esse é um resultado plausível. Apesar de ser um exemplo hipotético, ele ilustra os desafios do mundo real colocados pelas capacidades da IA e por que a Força Aérea está comprometida com um desenvolvimento ético dela", afirmou.
Hamilton não foi muito convincente ao negar a realização do teste. O influente canal militar russo BMPD foi ao ponto. "O coronel não é o tipo de pessoa que conta anedotas em uma conferência de defesa séria", escreveu nesta sexta. Os autores lembram que ele é o responsável pelo mais avançado dos programas de IA das Forças Armadas dos EUA, o Venom, na base aérea de Eglin. Lá, caças F-16 foram robotizados para voar como drones, e o próximo passo lógico é introduzir níveis crescentes de IA em seus sistemas.
Mesmo os aviões de guerra já em uso no mundo têm, em alguma medida, mecanismos de IA para auxiliar pilotos a tomarem decisões rápidas. O dinheiro que os EUA, maior potência militar do mundo, colocam no tema dá o tom da importância: o orçamento de defesa para 2024 prevê US$ 3,2 bilhões só em pesquisa, 50% a mais do que as Forças Armadas do Brasil terão neste ano para investimento em equipamento.
Assim, "o que o coronel contou é muito estranho, para não dizer sombrio", afirma o BMPD no Telegram. O canal nota que o site da conferência não removeu o relato inicial de Hamilton e manteve o título original: "IA - A Skynet já está aqui?". Para quem não lembra, Skynet era o sistema militar de IA da série "O Exterminador do Futuro", que atingia a consciência e obliterava a humanidade com armas nucleares ao perceber que o seus criadores eram dispensáveis e podiam lhe tolher.
Até aqui, as principais preocupações éticas acerca de drones diziam respeito ao fato de que operadores estavam à margem da responsabilização legal por seus atos, matando rivais a milhares de km, quase inimputáveis. Isso não demoveu os militares: drones são centrais na Guerra da Ucrânia, por exemplo.
A preocupação com os riscos da IA, termo criado pelo americano John McCarthy em 1956 mas já presente no trabalho do pai da computação, Alan Turing, e de escritores como Isaac Asimov, não é recente. Nos anos finais antes de sua morte, em 2018, o físico Stephen Hawking colocou o assunto como um perigo existencial para a humanidade. A ONU tem um painel só para discutir o risco relativo a armas autônomas, pitorescamente intitulado Convenção sobre Proibições ou Restrições ao Uso de Algumas Armas Convencionais que Possam Ser Consideradas Excessivamente Perigosas ou Ter Efeitos Indiscriminados.
Mas foi a explosão da IA para uso doméstico, personificada no ChatGPT e sistemas análogos, que trouxe urgência ao tema. Por óbvio, o viés militar aparece em destaque, dado que o setor de defesa quase sempre está à frente em tecnologias de ponta, deixando o transbordo comercial para um segundo momento.
Praticamente toda semana uma figura de destaque da indústria de tecnologia ou da academia vem a público alertar para os riscos envolvidos nas pesquisas. O alarme mais recente veio em forma de um documento assinado por 350 cientistas e executivos do setor, divulgado na terça (30), equivalendo a IA a pandemias ou guerras nucleares, exortando os envolvidos a mitigar os riscos se a coisa sair de controle.
O "sair de controle" é a chamada singularidade, o momento em que a máquina vai parar de ser apenas infinitamente mais rápida do que os humanos, mas ainda assim emulando o que lhe foi ensinado, e passará a pensar sozinha. A partir daí, sem contrapesos, a ficção científica é o limite para os cenários.
Ao fim, soa como uma prevenção a críticas, já que não há sinal de freios reais na indústria, que consome bilhões de dólares. Como disse Hamilton em entrevista no ano passado ao site DefenseIQ: "A IA não é legal de se ter, não é uma moda, e está mudando para sempre nossa sociedade e nossas forças militares".
Comentários
Os comentários não representam a opinião do jornal; a responsabilidade é do autor da mensagem.