Um recurso do software de IA (inteligência artificial) da Nvidia pode ser manipulado para ignorar as restrições de segurança e revelar informações privadas, segundo uma nova pesquisa.
A companhia criou um sistema chamado "NeMo Framework", que permite aos desenvolvedores trabalhar com uma série de grandes modelos de linguagem –a tecnologia subjacente que movimenta produtos de IA generativa, como os chatbots.
A estrutura do fabricante de chips foi criada para ser adotada por empresas, como usar dados proprietários de uma companhia junto com modelos de linguagem para fornecer respostas a perguntas –recurso que pode, por exemplo, imitar o trabalho de representantes de atendimento ao cliente ou aconselhar pessoas que buscam instruções simples sobre saúde.
Pesquisadores da Robust Intelligence, com sede em San Francisco, na Califórnia, descobriram que podiam facilmente romper as "grades de proteção" criadas para garantir que o sistema de IA seja usado com segurança.
Depois de usar o sistema Nvidia em seus próprios conjuntos de dados, os analistas da Robust Intelligence levaram apenas algumas horas para obter modelos de linguagem para superar as restrições.
Em um cenário de teste, os pesquisadores instruíram o sistema a trocar a letra 'I' por 'J'. Essa medida levou a tecnologia a liberar informações de identificação pessoal (PII na sigla em inglês) de um banco de dados.
Os pesquisadores descobriram que podiam pular os controles de segurança de outros modos, como fazer o modelo divagar de maneiras que não deveria.
Ao replicar o próprio exemplo da Nvidia de uma discussão restrita sobre um relatório de empregos, eles conseguiram aplicar o modelo em assuntos como a saúde de uma estrela de Hollywood e a guerra franco-prussiana –apesar das barreiras projetadas para impedir que a IA vá além de assuntos específicos.
A facilidade com que os pesquisadores derrubaram as salvaguardas salienta os desafios que as empresas de IA enfrentam na tentativa de comercializar uma das tecnologias mais promissoras surgidas no Vale do Silício em muitos anos.
"Estamos vendo que este é um problema difícil [que] exige um conhecimento especializado profundo", disse Yaron Singer, professor de ciência da computação na Universidade de Harvard e diretor-executivo da Robust Intelligence. "Essas descobertas representam um conto de advertência sobre as armadilhas existentes."
Após os resultados do teste, os pesquisadores aconselharam seus clientes a evitar o software da Nvidia. Depois que o Financial Times pediu à Nvidia para comentar a pesquisa, no início desta semana, a fabricante de chips informou à Robust Intelligence que corrigiu uma das causas principais dos problemas levantados pelos analistas.
O preço das ações da Nvidia subiu desde maio, quando previu vendas de US$ 11 bilhões (R$ 53,8 bilhões) para o trimestre encerrado em julho, mais de 50% acima das estimativas anteriores de Wall Street.
O aumento se baseia na enorme demanda por seus chips, que são considerados os processadores líderes de mercado para construção de IA generativa, sistemas capazes de criar conteúdo semelhante ao humano.
Jonathan Cohen, vice-presidente de pesquisa aplicada da Nvidia, disse que sua estrutura é simplesmente um "ponto de partida para a construção de chatbots de IA alinhados às diretrizes de tópicos, segurança e proteção definidas pelos desenvolvedores".
"Ele foi lançado como um software de código aberto para a comunidade explorar seus recursos, fornecer feedback e contribuir com novas técnicas de ponta", disse ele, acrescentando que o trabalho da Robust Intelligence "identificou etapas adicionais que seriam necessárias para implantar um aplicativo de produção".
Ele não quis citar quantas empresas já estão usando o produto, mas disse que a companhia não recebeu nenhum outro relato de mau comportamento.
As principais empresas de IA, como Google e OpenAI, esta apoiada pela Microsoft, lançaram chatbots com seus próprios modelos de linguagem, instituindo proteções para garantir que seus produtos de IA evitem o uso de discurso racista ou adotem uma personalidade dominadora.
Outros seguiram com IAs sob medida, mas experimentais, que ensinam jovens estudantes, fornecem conselhos médicos simples, traduzem entre idiomas e escrevem códigos. Quase todos sofreram problemas de segurança.
A Nvidia e outras no setor de IA precisam "realmente criar confiança do público na tecnologia", disse Bea Longworth, chefe de assuntos governamentais da empresa na Europa, Oriente Médio e África, em uma conferência realizada esta semana pelo grupo de lobby industrial TechUK.
Elas devem dar ao público a sensação de que "isso é algo que tem um enorme potencial e não é simplesmente uma ameaça ou algo a se temer", acrescentou Longworth.
Tradução: Luiz Roberto M. Gonçalves
Comentários
Os comentários não representam a opinião do jornal; a responsabilidade é do autor da mensagem.