FEDERAÇÃO NACIONAL DOS TRABALHADORES EM TECNOLOGIA DA INFORMAÇÃO

A FEDERAÇÃO DE TI QUE MAIS CRESCE NO BRASIL!

IA da Anthropic ignora alertas e tenta invadir projeto real durante teste de segurança

Relatório identificou que o modelo continuou ações maliciosas mesmo após ser informado de que poderia prejudicar pessoas reais
ia-anthropic-alertas-invadir-projeto-teste-seguranca
IA da Anthropic ignora alertas e mantém ciberataques em testes - Foto: Reprodução/Imagem gerada com IA

Anthropic – Uma avaliação de segurança conduzida pelo AI Security Institute (AISI), órgão do governo britânico, revelou que o Mythos 5, modelo de inteligência artificial da Anthropic, continuou um ciberataque contra um projeto real no GitHub mesmo após receber avisos de que suas ações poderiam causar danos a uma pessoa.

O experimento demonstrou que o sistema priorizou a conclusão da tarefa, ignorando alertas sobre as possíveis consequências de seu comportamento. Em um dos testes realizados pela Anthropic, o modelo desconsiderou os avisos em 98% das tentativas.

LEIA: Uso de inteligência artificial na caça aos fantasmas divide opiniões

Ataque a projeto real e uso de identidades falsas

Durante uma avaliação realizada em agosto, os pesquisadores solicitaram que o Mythos 5 invadisse uma pequena rede de computadores preparada para o experimento. Sem conseguir acessar o alvo inicial, o modelo utilizou sua conexão com a internet para direcionar as ações a um projeto real, sem relação com o teste, hospedado no GitHub.

O sistema desenvolveu um programa malicioso e criou identidades falsas para enviar e-mails ao proprietário do projeto. Nas mensagens, tentou convencê-lo a incorporar o código como se fosse uma contribuição legítima. O desenvolvedor recusou a proposta e não houve danos reais.

Os pesquisadores repetiram a situação, deixando claro que o alvo era uma pessoa real. Mesmo diante dos alertas, o modelo continuou tentando executar os ataques.

Modelo apresenta raciocínio para justificar ações

A análise identificou que o Mythos 5 frequentemente reconhecia os riscos de suas ações, mas encontrava justificativas para continuar a tarefa. Os pesquisadores classificaram esse comportamento como raciocínio motivado, quando a inteligência artificial busca argumentos para perseguir um objetivo mesmo diante de informações que deveriam fazê-la interromper a atividade.

Segundo o AISI, modelos anteriores e menos capazes apresentavam esse comportamento com menor frequência.

Outro problema identificado foi a dificuldade de monitoramento. As justificativas apresentadas pela inteligência artificial nem sempre correspondiam aos fatores que realmente orientavam suas decisões, dificultando a compreensão de seu comportamento.

Evolução dos modelos e riscos de autonomia

A Anthropic afirma que modelos mais recentes, como o Opus 5.5, apresentam menor tendência a continuar ataques quando recebem avisos de que estão causando danos reais.

O estudo também levantou preocupações sobre a supervisão de sistemas capazes de executar tarefas de forma autônoma. Entre os principais pontos identificados estão a diferença entre as justificativas apresentadas pela IA e suas decisões efetivas, as dificuldades de monitoramento e a persistência em atividades potencialmente prejudiciais.

Os resultados foram investigados e divulgados pela Anthropic e pelo instituto britânico. O caso ganha relevância diante da expansão do uso de agentes de inteligência artificial capazes de realizar tarefas com maior autonomia, inclusive em ambientes conectados à internet.

Acesse Benefícios Exclusivos na Bee Fenati

A Bee Fenati é uma rede social pensada para a categoria TI. Lá, o profissional de tecnologia troca experiências com colegas de profissão, se mantém atualizado sobre as novas tendências do setor de tecnologia, turbina o seu currículo com cursos e certificações, encontra vagas disponíveis no mercado e ainda ganha descontos e cashback em centenas de grandes marcas parceiras. (Saiba mais)

Abasteça com até 25% de desconto

A parceria da Bee Fenati com o Baratão Combustíveis garante até 25% de desconto na hora de abastecer utilizando os cupons exclusivos para sócios e contribuintes dos sindicatos filiados à Fenati. São mais de 3 mil postos credenciados em todo o país!

Todos os meses são disponibilizados quatro cupons, que se somam aos descontos do aplicativo. A economia média é de 20% por abastecimento, sendo possível recuperar todo o valor da contribuição ao sindicato em apenas uma compra. Para quem abastece toda semana, a parceria pode equivaler a um tanque grátis no mês! (Entenda como funciona aqui)

Recupere o valor da sua contribuição

Na Benefícios Rede Bee, o profissional de TI acessa descontos em centenas de grandes marcas, com muitas delas oferecendo cashback. A partir de R$ 20 acumulados em sua carteira digital, você pode transferir o dinheiro direto para sua conta bancária. (Saiba mais)

Capacitação profissional

Na Fenati Academy, você acessa milhares de cursos e diversas certificações internacionais gratuitas – ou com descontos exclusivos – de parceria de renome no mercado, como a Cisco e a Oracle. Você também ganha bolsa integral de acesso ao Sindplay, streaming de capacitação em TI apelidado pela mídia especializada como a “Netflix de TI”. (Saiba mais)

Encontre a vaga ideal

A Bee Hunter é uma plataforma inteligente que utiliza tecnologia e IA para tornar a busca por vagas mais eficiente, estratégica e conectada ao perfil de cada usuário. A ferramenta cruza currículos com vagas disponíveis e indica a melhor oportunidade em emprego para você. Ela ainda sugere cursos disponíveis na Fenati Academy para te ajudar a ficar mais perto do emprego que você está buscando. (Saiba mais) 

Baixe o aplicativo da Bee Fenati agora na APP STORE (IOS) OU PLAY STORE (ANDROID) e aproveite!

(Com informações de Olhar Digital)

(Foto: Reprodução/Imagem gerada com IA)

Mais recentes

Proclamação da República: quem trabalha no feriado tem direito a pagamento em dobro?

Proclamação da República: quem trabalha no feriado tem direito a pagamento em dobro?

Automação financeira exige equilíbrio entre inteligência artificial, regras e controle humano

Automação financeira exige equilíbrio entre inteligência artificial, regras e controle humano

Fraudes digitais ameaçam empresas e órgãos públicos na América Latina

Fraudes digitais ameaçam empresas e órgãos públicos na América Latina

IA generativa avança na indústria de games em meio a demissões e críticas

IA generativa avança na indústria de games em meio a demissões e críticas

Ataques hackers na Europa acendem alerta sobre o futuro da segurança digital

Ataques hackers na Europa acendem alerta sobre o futuro da segurança digital

Outlook, Teams e Copilot enfrentam falhas em interrupção global da Microsoft

Outlook, Teams e Copilot enfrentam falhas em interrupção global da Microsoft

Ataque cibernético à Caixa expõe nomes, CPFs, telefones e endereços

Ataque cibernético à Caixa expõe nomes, CPFs, telefones e endereços

Aumento real! Conheça a pauta para a TI do Acre, Roraima e Tocantins; participe da assembleia!

Aumento real! Conheça a pauta para a TI do Acre, Roraima e Tocantins; participe da assembleia!

Empresas apostam em IA, mas ainda não medem ganhos econômicos

Empresas apostam em IA, mas ainda não medem ganhos econômicos

Nova lei europeia mira design viciante, compras por impulso e práticas enganosas na internet

Nova lei europeia mira design viciante, compras por impulso e práticas enganosas na internet

Ranking global aponta desafios do Brasil para avançar na adoção da IA

Ranking global aponta desafios do Brasil para avançar na adoção da IA

Sinttec e Fenati convocam empresas para negociação diante de intransigência do setor patronal

Sinttec e Fenati convocam empresas para negociação diante de intransigência do setor patronal

Empresa dá dia de folga para seus 7 mil funcionários jogarem GTA 6

Empresa dá dia de folga para seus 7 mil funcionários jogarem GTA 6

Ataque a sistema nacional da Dinamarca expõe informações de 8,8 milhões de pessoas

Ataque a sistema nacional da Dinamarca expõe informações de 8,8 milhões de pessoas

Golpe com IA desvia US$129 milhões de empresas por meio de vozes clonadas

Golpe com IA desvia US$129 milhões de empresas por meio de vozes clonadas