Um grupo que inclui nove funcionários e ex-funcionários da OpenAI denunciou o que diz ser uma cultura de imprudência e sigilo na empresa de San Francisco que corre para construir os sistemas de inteligência artificial (IA) mais poderosos já criados.
Os membros se reuniram nos últimos dias em torno de preocupações comuns de que a empresa não fez o suficiente para evitar que seus modelos de IA se tornem perigosos.
O grupo diz que a OpenAI, que começou como um laboratório de pesquisa sem fins lucrativos e ganhou destaque com o lançamento do ChatGPT em 2022, está priorizando lucros e crescimento ao tentar construir uma inteligência artificial geral (AGI, na sigla em inglês), um sistema capaz de fazer qualquer coisa que um humano possa fazer.
Eles também afirmam que a OpenAI usou táticas agressivas para impedir que seus funcionários expressem preocupações sobre a tecnologia, como solicitar que demissionários assinem acordos restritivos de não difamação.
"A OpenAI está realmente empolgada em construir a AGI, e eles estão correndo imprudentemente para serem os primeiros a chegar lá", disse Daniel Kokotajlo, ex-pesquisador da divisão de governança da OpenAI e um dos organizadores do grupo.
O grupo publicou uma carta aberta nesta terça-feira (4) pedindo que as principais empresas de IA, incluindo a OpenAI, estabeleçam maior transparência e mais proteções para denunciantes.
Também fazem parte do grupo William Saunders, engenheiro de pesquisa que deixou a OpenAI em fevereiro, e outros três ex-funcionários da empresa: Carroll Wainwright, Jacob Hilton e Daniel Ziegler. Vários funcionários atuais da OpenAI endossaram a carta anonimamente porque temem retaliação, disse Kokotajlo. Um funcionário e um ex-funcionário do Google DeepMind, o principal laboratório de IA do Google, também assinaram.
Uma porta-voz da OpenAI, Lindsey Held, disse em um comunicado que a empresa fornece os sistemas de IA mais capazes e seguros e acredita em sua abordagem científica para lidar com riscos
"Concordamos que o debate rigoroso é crucial dada a importância dessa tecnologia, e continuaremos a nos envolver com governos, sociedade civil e outras comunidades ao redor do mundo", disse.
Um porta-voz do Google se recusou a comentar.
A campanha chega em um momento difícil para a OpenAI. A empresa ainda está se recuperando de uma tentativa de golpe no ano passado, quando membros do conselho votaram para demitir o CEO Sam Altman por preocupações com sua franqueza.
Altman foi levado de volta ao cargo dias depois, e o conselho foi reformulado com novos membros.
A empresa também enfrenta batalhas legais com criadores de conteúdo que a acusaram de roubar obras protegidas por direitos autorais para treinar seus modelos. O New York Times processou a OpenAI e a Microsoft por violação de direitos autorais no ano passado.
Além disso, o recente lançamento de um assistente de voz hiper-realista foi prejudicado por uma disputa pública com a atriz Scarlett Johansson, que afirmou que a OpenAI imitou sua voz sem permissão.
Kokotajlo, 31, entrou na OpenAI em 2022 como pesquisador de governança e tinha a tarefa de prever o progresso da IA. Ele não estava, para dizer o mínimo, otimista.
Em seu emprego anterior em uma organização de segurança de IA, ele previu que a AGI poderia chegar em 2050. Mas, depois de ver que a IA estava melhorando rapidamente, ele reduziu seus prazos. Agora ele acredita que há 50% de chance de a AGI chegar até 2027 —em apenas três anos.
Ele também acredita que a probabilidade de que a IA avançada destrua ou prejudique de forma catastrófica a humanidade —uma estatística sombria frequentemente abreviada para "p(doom)" nos círculos de IA— é de 70%.
Na OpenAI, Kokotajlo viu que, embora a empresa tenha protocolos de segurança em vigor —como um esforço conjunto com a Microsoft conhecido como "conselho de segurança de implementação", que deveria revisar novos modelos em busca de grandes riscos antes de serem lançados— eles raramente parecem limitar qualquer coisa.
Kokotajlo disse que por fim ficou tão preocupado que, no ano passado, disse a Altman que a empresa deveria "se voltar à segurança" e gastar mais tempo e recursos protegendo-se contra os riscos da IA, em vez de avançar para melhorar seus modelos.
Ele disse que Altman concordou, mas que nada mudou muito.
Em abril, ele deixou a empresa. Em um email para sua equipe, disse que estava saindo porque havia "perdido a confiança de que a OpenAI se comportará de forma responsável" conforme seus sistemas se aproximem da inteligência de nível humano.
"O mundo não está pronto, e nós não estamos prontos", escreveu Kokotajlo. "E estou preocupado que estejamos avançando rapidamente, independentemente disso, e racionalizando nossas ações."
A OpenAI disse na semana passada que começou a treinar um novo modelo de IA principal e que formou um novo comitê de segurança e proteção para explorar os riscos associados ao novo modelo e outras tecnologias futuras.
Na carta aberta, Kokotajlo e os outros ex-funcionários da OpenAI pedem o fim do uso de acordos de não difamação e de confidencialidade na OpenAI e em outras empresas de IA.
"Acordos amplos de confidencialidade nos impedem de expressar nossas preocupações, exceto para as próprias empresas que podem não estar lidando com essas questões", escrevem.
Eles também pedem para que as empresas de IA "apoiem uma cultura de crítica aberta" e estabeleçam um processo de denúncia para que os funcionários possam levantar preocupações relacionadas à segurança anonimamente.
Eles contrataram um advogado pro bono, o ativista jurídico Lawrence Lessig, que também aconselhou Frances Haugen, uma ex-funcionária do Facebook que se tornou uma denunciante e acusou a empresa de priorizar os lucros em detrimento da segurança.
Em uma entrevista, Lessig disse que, embora as proteções tradicionais para denunciantes geralmente se apliquem a relatos de atividades ilegais, é importante que os funcionários de empresas de IA possam discutir riscos e possíveis danos livremente, dada a importância da tecnologia.
"Os funcionários são uma linha importante de defesa da segurança, e se não puderem falar livremente sem retaliação, esse canal será fechado", disse.
Held, porta-voz da OpenAI, disse que a empresa tem "caminhos para os funcionários expressarem suas preocupações", incluindo uma linha direta anônima.
Kokotajlo e seu grupo são céticos de que a autorregulação sozinha será suficiente para se preparar para um mundo com sistemas de IA mais poderosos. Por isso, eles estão pedindo para que os legisladores também regulamentem o setor.
"Deve haver algum tipo de estrutura de governança transparente e democraticamente responsável encarregada desse processo", disse Kokotajlo. "Em vez de apenas algumas empresas privadas competindo entre si e mantendo tudo em segredo."
Comentários
Os comentários não representam a opinião do jornal; a responsabilidade é do autor da mensagem.