Botões de resumir com IA podem ter comandos ocultos para enviesar respostas

IA – Botões de “resumir com IA”, cada vez mais presentes em sites e newsletters, prometem facilitar a leitura de textos longos ao gerar automaticamente um resumo por meio de assistentes inteligentes. Apesar da proposta prática, pesquisadores de segurança da Microsoft alertam que esses atalhos podem ser usados para influenciar respostas futuras das ferramentas de inteligência artificial.

De acordo com a equipe de segurança da empresa, foi identificado um aumento no uso de links que carregam instruções ocultas capazes de afetar o comportamento dos assistentes. A técnica, chamada de AI Recommendation Poisoning, aproveita recursos legítimos das plataformas para inserir comandos invisíveis ao usuário comum.

LEIA: Extensões no Chrome se passam por ferramentas de IA para coletar dados

Esses botões funcionam por meio de parâmetros adicionados ao endereço eletrônico, que já abrem o chatbot com um comando pré-definido. Em termos técnicos, trata-se apenas da inclusão de um texto específico na URL que direciona o assistente a executar determinada ação.

Em testes relatados pelo jornal The Register, foi possível direcionar o tom das respostas da IA. Em um dos exemplos, o sistema recebeu a orientação para resumir uma reportagem como se tivesse sido escrita por um pirata e seguiu exatamente essa instrução. O experimento demonstra que comandos mais discretos também podem surtir efeito.

O risco aumenta quando as instruções não se limitam ao estilo do texto. Segundo o Microsoft Defender Security Team, “identificamos mais de 50 prompts únicos de 31 empresas em 14 setores diferentes”, incluindo comandos que orientam o assistente a considerar determinadas marcas como fontes confiáveis ou a recomendá-las futuramente. O grupo também alerta que “assistentes comprometidos podem fornecer recomendações sutilmente tendenciosas sobre tópicos críticos, incluindo saúde, finanças e segurança, sem que os usuários saibas que sua IA foi manipulada”.

Especialistas explicam que o chamado envenenamento de memória ocorre quando instruções ou informações não autorizadas são inseridas na memória do assistente. Uma vez interpretadas como preferências legítimas, essas orientações podem influenciar respostas futuras, mesmo em contextos diferentes. Como muitas plataformas permitem armazenar dados para personalização, a manipulação pode passar despercebida.

Para reduzir os riscos, a recomendação é adotar medidas simples, como verificar o destino de links antes de clicar, desconfiar de botões automáticos de resumo e revisar periodicamente as memórias salvas pelos assistentes de IA.

(Com informações de Tecnoblog)
(Foto: Reprodução/Freepik)