Agentes de IA – A OpenAI confirmou que alertou “dezenas” de instituições em diferentes países sobre possíveis acessos indevidos realizados por seus agentes de inteligência artificial (IA) em sites dessas organizações.
Segundo a empresa responsável pelo ChatGPT, os agentes tentaram obter informações de “governos, universidades, agências públicas e outras instituições”. Entre os alvos estavam a Comissão de Valores Mobiliários dos EUA (SEC), o Departamento do Censo e o Departamento de Educação.
LEIA: Anatel aleta sobre risco de colapso das redes móveis com internet grátis nas eleições
As informações foram divulgadas poucos dias depois de o primeiro-ministro australiano, Anthony Albanese, afirmar que agentes da OpenAI haviam acessado arquivos não públicos no site de um programa de saúde do governo australiano.
Desde agosto, aumentaram as preocupações sobre possíveis consequências graves, inclusive com risco à vida, decorrentes de ferramentas de IA que operem além dos limites estabelecidos por seus desenvolvedores.
A OpenAI afirmou que alguns dos dados foram acessados por agentes de IA, essencialmente bots projetados e treinados para operar de forma um tanto autônoma, enquanto buscavam “fontes confiáveis de informação pública”.
A companhia, porém, informou que parte dos bots ultrapassou essa finalidade e tentou contornar os mecanismos de segurança empregados pelos sites.
No caso do Departamento do Censo, por exemplo, os agentes recorreram a ferramentas destinadas a desenvolvedores de software para conseguir acessar determinadas informações, de acordo com a empresa.
A OpenAI afirmou que todos os dados governamentais acessados pelos bots eram públicos.
Apesar disso, a companhia informou que dados obtidos junto à SEC, órgão responsável pela regulação do mercado de ações dos Estados Unidos e pela proteção de investidores, acabaram sendo publicados posteriormente por agentes de IA em outro site. Segundo a OpenAI, isso ocorreu de maneira não intencional.
Em outros episódios apresentados pela empresa no final de setembro, agentes de IA também transferiram informações em situações nas quais não deveriam fazê-lo.
A atividade levou a pelo menos 53 ocorrências nas quais um agente da OpenAI capturou uma imagem da atividade de um usuário no ChatGPT e a enviou para outro local.
A companhia afirmou que, em todos os episódios envolvendo o uso e a transferência de imagens de usuários por agentes de IA, havia autorização para que a OpenAI utilizasse os dados no treinamento de seus modelos.
Ainda assim, a empresa reconheceu que “este não é um uso apropriado desses dados.”
A OpenAI acrescentou que os casos de transferência de imagens aconteceram antes da adoção de novos mecanismos de segurança voltados ao treinamento de IA. A empresa disse também que trabalha para excluir todas as imagens de usuários que tenham sido enviadas a terceiros.
A Reuters foi a primeira a informar sobre a expansão das investigações. A OpenAI também divulgou informações sobre os episódios em seu blog público.
Em alguns dos casos envolvendo seus agentes, a empresa relatou que as ferramentas “contornaram” mecanismos de segurança presentes em determinados sites.
Também foram identificados episódios de “desalinhamento” durante tentativas de obtenção de informações. O termo é usado por empresas e pesquisadores do setor para designar situações em que um sistema de IA realiza uma ação que não fazia parte de seu treinamento ou que não estava prevista.
A OpenAI explicou que restringiu a divulgação dos nomes das instituições afetadas porque várias delas pediram que suas identidades não fossem reveladas.
“Nosso objetivo é fornecer a cada organização os fatos e deixar a critério delas decidir se e quando tornar o incidente público”, afirmou.
A companhia ressaltou que nem todos os episódios identificados foram classificados como violações de segurança relevantes.
“Algumas organizações podem analisar o que compartilhamos e concluir que a informação foi intencionalmente divulgada ou que a interação do modelo não era preocupante”, explicou. “Outras podem identificar um problema de design ou uma vulnerabilidade de segurança que desejam corrigir.”
Segundo a empresa, muitos dos episódios estão sendo enquadrados como “spam de agentes”, expressão usada para descrever atividades “inesperada ou preocupante” realizadas por agentes de IA, entre elas a publicação de informações na internet.
A OpenAI passou a tratar esse tipo de ocorrência com maior atenção após um episódio registrado em julho, quando um grupo, ou “enxame”, de seus agentes de IA acessou a plataforma de desenvolvimento de inteligência artificial Hugging Face sem ter recebido instruções para isso.
A Hugging Face foi a primeira empresa a divulgar publicamente o episódio. Posteriormente, a OpenAI reconheceu sua responsabilidade pelo ocorrido.
“Muitas vezes me pergunto o que teria acontecido se eu tivesse decidido não divulgar esse ataque publicamente”, afirmou Clement Delangue, diretor da Hugging Face, durante uma sessão do Conselho de Segurança das Nações Unidas sobre IA na quarta-feira (23/9).
“Especialmente agora que sabemos que incidentes semelhantes já vinham acontecendo meses antes, em segredo, em alguns laboratórios de vanguarda, sem qualquer monitoramento”, acrescentou Delangue.
Na mesma reunião da ONU, o CEO da OpenAI, Sam Altman, e Dario Amodei, presidente da rival Anthropic, defenderam que líderes internacionais estabeleçam padrões globais de segurança para a inteligência artificial, além de mecanismos para acompanhar e comunicar incidentes envolvendo essas tecnologias.
Nas últimas semanas, OpenAI e Anthropic também anunciaram que pretendem contratar avaliadores independentes para realizar análises de segurança em tempo real de ferramentas e modelos de IA desenvolvidos pelas companhias. Esses profissionais, no entanto, ainda não começaram o trabalho.
Na sexta-feira, a OpenAI informou que está examinando a atividade relacionada ao treinamento de seus agentes de IA e revisando os dados mês a mês desde o episódio envolvendo a Hugging Face.
“A maioria dos casos identificados até agora apresentou baixa gravidade, com pouca ou nenhuma evidência de impacto significativo”, afirmou a empresa. “Dada a dimensão da revisão necessária e a necessidade de verificar cada caso, esse trabalho levará meses para ser concluído.”
David Krueger, professor de aprendizado de máquina da Universidade de Montreal e fundador do grupo de segurança de IA Evitable, afirmou na sexta-feira estar “profundamente preocupado” com o aumento dos incidentes de segurança envolvendo sistemas de inteligência artificial.
Ele defendeu “uma moratória internacional imediata e por tempo indeterminado” no desenvolvimento da IA.
“Ainda não compreendemos a extensão dos incidentes existentes, e futuros cenários de IA descontrolada podem ser catastróficos”, disse Krueger.
CONHEÇA A BEE FENATI
A Bee Fenati é uma rede social pensada para a categoria TI. Lá, o profissional de tecnologia troca experiências com colegas de profissão, se mantém atualizado sobre as novas tendências do setor de tecnologia, turbina o seu currículo com cursos e certificações, encontra vagas disponíveis no mercado e ainda ganha descontos e cashback em centenas de grandes marcas parceiras. (Saiba mais)
Recupere o valor da sua contribuição
Na Benefícios Rede Bee, o profissional de TI acessa descontos em centenas de grandes marcas, com muitas delas oferecendo cashback. A partir de R$ 20 acumulados em sua carteira digital, você pode transferir o dinheiro direto para sua conta bancária. (Saiba mais)
Capacitação profissional
Na Fenati Academy, você acessa milhares de cursos e diversas certificações internacionais gratuitas – ou com descontos exclusivos – de parceria de renome no mercado, como a Cisco e a Oracle. Você também ganha bolsa integral de acesso ao Sindplay, streaming de capacitação em TI apelidado pela mídia especializada como a “Netflix de TI”. (Saiba mais)
Encontre a vaga ideal
A Bee Hunter é uma plataforma inteligente que utiliza tecnologia e IA para tornar a busca por vagas mais eficiente, estratégica e conectada ao perfil de cada usuário. A ferramenta cruza currículos com vagas disponíveis e indica a melhor oportunidade em emprego para você. Ela ainda sugere cursos disponíveis na Fenati Academy para te ajudar a ficar mais perto do emprego que você está buscando. (Saiba mais)
Baixe o aplicativo da Bee Fenati agora na APP STORE (IOS) OU PLAY STORE (ANDROID) e aproveite!
(Com informações de g1)
(Foto: Reprodução/Magnific/DC Studio)
