Relatório com ‘alucinações’ de IA causa prejuízo milionário a consultoria

IA – A consultoria Deloitte vai devolver parte do pagamento de um contrato avaliado em AU$ 439 mil (cerca de R$ 1,5 milhão) após entregar ao governo da Austrália um relatório repleto de erros causados pelo uso de inteligência artificial. O documento, preparado para o Departamento de Emprego e Relações de Trabalho (DEWR), continha citações e referências inventadas por ferramentas generativas de IA.

O contrato, firmado em dezembro do ano passado, previa a auditoria e revisão de um sistema que aplica penalidades automáticas a beneficiários de programas de emprego. Segundo o jornal Financial Review, o relatório inicial foi publicado em julho, mas teve suas falhas expostas poucas semanas depois pelo acadêmico Christopher Rudge, da Universidade de Sydney.

LEIA: GSI autoriza armazenamento de dados sigilosos em nuvem

Rudge levantou a hipótese de que os erros seriam “alucinações” de IA – quando a tecnologia cria informações inexistentes. Após a denúncia, a Deloitte revisou o trabalho e confirmou o uso do modelo GPT-4o. A versão corrigida foi publicada na última semana.

De acordo com o DEWR, as recomendações do relatório não foram alteradas, mas o episódio acendeu um alerta sobre os riscos do uso não supervisionado de IA em serviços técnicos.

‘Alucinações’ e erros constrangedores

O relatório original continha mais de uma dezena de referências incorretas. Entre os equívocos estavam citações a relatórios inexistentes de acadêmicos como Lisa Burton Crawford, da Universidade de Sydney, e Björn Regnell, da Universidade de Lund, na Suécia. O texto também mencionava uma decisão fictícia do Tribunal Federal australiano e até grafou incorretamente o nome da juíza envolvida no caso.

Para Rudge, que identificou os problemas, as falhas comprometem toda a credibilidade do trabalho. “Não se pode confiar nas recomendações quando a própria base do relatório é construída sobre uma metodologia falha”, afirmou ao Financial Review.

Alertas sobre o uso de IA

Um porta-voz do DEWR confirmou que a Deloitte não receberá a última parcela do contrato, embora o valor exato não tenha sido divulgado. O governo não informou se pretende buscar um reembolso total.

Reconhecida mundialmente no setor de consultoria, a Deloitte afirma em suas próprias diretrizes a importância da supervisão humana no uso de IA, algo que, neste caso, não foi devidamente seguido.

O episódio acontece em meio ao avanço rápido da adoção de ferramentas de IA em ambientes corporativos e públicos. Em junho, o governo britânico iniciou testes com a IA Copilot, da Microsoft, envolvendo 20 mil servidores públicos. No mesmo mês, o órgão de fiscalização contábil do Reino Unido alertou que o uso indiscriminado dessas ferramentas pode afetar a qualidade de futuras auditorias, segundo o Financial Times.

(Com informações de Tecnoblog)
(Foto: Reprodução/Freepik/Frolopiaton Palm)