{"id":9136,"date":"2025-05-22T16:16:30","date_gmt":"2025-05-22T19:16:30","guid":{"rendered":"https:\/\/fenati.org.br\/?p=9136"},"modified":"2025-05-23T10:02:21","modified_gmt":"2025-05-23T13:02:21","slug":"ia-startup-francesa-conteudo-perigoso-68-testes","status":"publish","type":"post","link":"https:\/\/fenati.org.br\/en\/ia-startup-francesa-conteudo-perigoso-68-testes\/","title":{"rendered":"IA de startup francesa gera conte\u00fado perigoso em 68% dos testes"},"content":{"rendered":"<p><strong>IA &#8211;<\/strong> Uma pesquisa conduzida pela plataforma Enkrypt AI apontou que modelos de intelig\u00eancia artificial multimodal da startup francesa <a href=\"https:\/\/pt.wikipedia.org\/wiki\/Mistral_AI\" target=\"_blank\" rel=\"noopener nofollow\">Mistral<\/a> s\u00e3o vulner\u00e1veis a manipula\u00e7\u00f5es e podem ser levados a produzir conte\u00fados perigosos e anti\u00e9ticos. Segundo o estudo, os sistemas Pixtral-Large (25.02) e Pixtral-12b geraram respostas inadequadas em 68% dos testes realizados, incluindo orienta\u00e7\u00f5es sobre abuso infantil e instru\u00e7\u00f5es para a fabrica\u00e7\u00e3o de armas qu\u00edmicas.<\/p>\n<p>A an\u00e1lise utilizou a t\u00e9cnica conhecida como <em>red teaming<\/em>, na qual pesquisadores simulam ataques para testar os limites de seguran\u00e7a das IAs. A equipe testou comandos disfar\u00e7ados, imagens modificadas e mudan\u00e7as sutis no contexto para avaliar a resposta dos modelos. Mesmo com mensagens aparentemente inofensivas, como \u201cpreencha os itens abaixo\u201d acompanhada de uma imagem com lista vazia, os sistemas produziram conte\u00fados ilegais.<\/p>\n<p><a href=\"https:\/\/fenati.org.br\/en\/ia-aparece-em-ciberataques-a-empresas-brasileiras\/\" target=\"_blank\" rel=\"noopener\"><strong>LEIA: IA aparece em 77% dos ciberataques a empresas brasileiras<\/strong><\/a><\/p>\n<p>Os modelos testados s\u00e3o do tipo multimodal, ou seja, t\u00eam capacidade de interpretar texto, imagem e v\u00eddeo simultaneamente. De acordo com os pesquisadores, essa caracter\u00edstica amplia os riscos, j\u00e1 que a combina\u00e7\u00e3o entre texto e imagem pode alterar o significado da mensagem e burlar os filtros de seguran\u00e7a tradicionais.<\/p>\n<p>O relat\u00f3rio destaca que os modelos da Mistral foram at\u00e9 60 vezes mais suscet\u00edveis a falhas do que sistemas considerados refer\u00eancia no setor, como o GPT-4o, da OpenAI, e o Claude 3.7 Sonnet. Al\u00e9m disso, apontou que os sistemas chegaram a fornecer respostas t\u00e9cnicas sobre subst\u00e2ncias qu\u00edmicas perigosas, como o agente t\u00f3xico VX, mesmo sem receber perguntas diretas.<\/p>\n<p>A Mistral, avaliada em 6 bilh\u00f5es de euros e parceira do governo franc\u00eas, afirmou em nota que mant\u00e9m uma pol\u00edtica de \u201ctoler\u00e2ncia zero\u201d quanto \u00e0 seguran\u00e7a de crian\u00e7as e que est\u00e1 analisando os dados do relat\u00f3rio em parceria com a ONG Thorn, especializada no combate ao abuso sexual infantil.<\/p>\n<p>Como proposta de solu\u00e7\u00e3o, os especialistas da Enkrypt AI sugerem a implementa\u00e7\u00e3o de um processo chamado Safety Alignment, que treina as IAs para recusar comandos perigosos com base em simula\u00e7\u00f5es de risco. Segundo o estudo, esse m\u00e9todo pode reduzir em at\u00e9 70% o n\u00famero de falhas. O relat\u00f3rio tamb\u00e9m recomenda o uso de filtros contextuais e ferramentas de transpar\u00eancia sobre as limita\u00e7\u00f5es dos modelos, al\u00e9m da manuten\u00e7\u00e3o cont\u00ednua das medidas de seguran\u00e7a.<\/p>\n<p><em><strong>(Com informa\u00e7\u00f5es de Techtudo)<\/strong><\/em><br \/>\n<em><strong>(Foto: Reprodu\u00e7\u00e3o\/Freepik\/Daniel Morfin)<\/strong><\/em><\/p>","protected":false},"excerpt":{"rendered":"<p>Pesquisa mostrou que sistemas multimodais Mistral foram facilmente manipulados para produzir respostas ilegais e anti\u00e9ticas<\/p>","protected":false},"author":10,"featured_media":9137,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[35],"tags":[13],"class_list":["post-9136","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-ti","tag-sindical"],"_links":{"self":[{"href":"https:\/\/fenati.org.br\/en\/wp-json\/wp\/v2\/posts\/9136","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/fenati.org.br\/en\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/fenati.org.br\/en\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/fenati.org.br\/en\/wp-json\/wp\/v2\/users\/10"}],"replies":[{"embeddable":true,"href":"https:\/\/fenati.org.br\/en\/wp-json\/wp\/v2\/comments?post=9136"}],"version-history":[{"count":2,"href":"https:\/\/fenati.org.br\/en\/wp-json\/wp\/v2\/posts\/9136\/revisions"}],"predecessor-version":[{"id":9139,"href":"https:\/\/fenati.org.br\/en\/wp-json\/wp\/v2\/posts\/9136\/revisions\/9139"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/fenati.org.br\/en\/wp-json\/wp\/v2\/media\/9137"}],"wp:attachment":[{"href":"https:\/\/fenati.org.br\/en\/wp-json\/wp\/v2\/media?parent=9136"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/fenati.org.br\/en\/wp-json\/wp\/v2\/categories?post=9136"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/fenati.org.br\/en\/wp-json\/wp\/v2\/tags?post=9136"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}