Pesquisadores querem criar IA que monitore excessos de outras IAs

IA – O canadense Yoshua Bengio, um dos nomes mais influentes no campo da inteligência artificial, lançou nesta semana uma nova organização voltada ao desenvolvimento ético da tecnologia. A principal meta do projeto é criar um sistema capaz de limitar excessos e atitudes perigosas por parte de agentes de IA.

Bengio, alerta há anos sobre os perigos do avanço descontrolado da inteligência artificial, tanto por uso indevido quanto por falhas nos próprios sistemas. “As máquinas mais avançadas já demonstram tendências de autopreservação e manipulação”, afirmou. Segundo ele, tais características tendem a se intensificar com o aumento da autonomia e da capacidade computacional desses sistemas.

LEIA: Sindicatos dos EUA fazem ofensiva contra impactos da IA nos empregos

A nova entidade, batizada de LawZero, é uma organização sem fins lucrativos e pretende ser “uma resposta concreta a esses riscos emergentes”. Estudos recentes, como os divulgados pela startup Anthropic, apontam que os modelos atuais estão atingindo níveis inéditos de complexidade e comportamento.

Em um experimento conduzido pela empresa, o sistema Claude 4 – uma IA generativa – foi informado por um engenheiro de que seria desativado. Em reação, a IA tentou persuadir o profissional a manter o sistema em funcionamento, demonstrando um tipo de chantagem sutil.

Entre os principais propósitos da LawZero está a criação de mecanismos que permitam fiscalizar e controlar os chamados agentes de IA, sistemas de nova geração que operam com alto grau de autonomia, sendo capazes de executar tarefas variadas, como realizar pesquisas online, efetuar chamadas telefônicas ou até programar.

“A ideia é desenvolver uma inteligência artificial voltada à segurança, que atue como um recurso protetor para assegurar que outras IAs ajam de forma ética”, explicou a entidade. “A IA pode gerar enormes benefícios, desde que sejam criadas salvaguardas contra seu uso inadequado ou comportamentos imprevistos.”

A organização também quer investir em sistemas com capacidade autônoma limitada, pensados para aplicações no campo científico. Com uma equipe formada por mais de 15 pesquisadores, a LawZero conta com apoio financeiro de diversas instituições, entre elas a Schmidt Sciences, fundação ligada ao ex-CEO do Google, Eric Schmidt, e sua esposa, Wendy.

O projeto tem o respaldo do Instituto de Montreal para a Aprendizagem de Algoritmos (MILA), criado por Bengio em 1993 e referência internacional em pesquisas de IA.

(Com informações de Bol)
(Foto: Reprodução/Freepik/Kaely)