Pesquisa revela que resumos de notícias gerados por IA apresentam erros

IA – Uma pesquisa realizada pela BBC concluiu que assistentes de inteligência não são confiáveis ao resumir informações. ChatGPT, Microsoft Copilot, Gemini Google e Perplexity AI foram as quatro plataformas analisadas pela análise realizada em dezembro de 2024.

O método de investigação se deu a partir da realização de 100 perguntas sobre diferentes notícias. As respostas geradas pelos dispositivos foram analisadas por jornalistas da BBC especialistas nos temas abordados. Já os critérios usados para a análise foram precisão, imparcialidade e fidelidade ao conteúdo original.

LEIA: Empresas têm interesse em IA, mas temem falta de conhecimento na área

Os resultados apontaram que 51% das respostas apresentaram algum tipo de problema. Já entre matérias que citavam conteúdos produzidos pela BBC, 19% continham erros como declarações incorretas, números imprecisos ou datas erradas.

Dentre as matérias com referências a materiais produzidos pela BBC, 13% das citações estavam alteradas ou nem estavam presentes nos textos originais. As empresas que administram as ferramentas foram questionadas.

A OpenAI – responsável pelo Chat GPT – afirmou que seguirá aprimorando os resultados de suas pesquisas. As demais big techs não se manifestaram publicamente.

A BBC tinha como principal objetivo verificar se as ferramentas de IA conseguiam fornecer respostas a perguntas sobre temas publicados na imprensa tradicional. As plataformas tiveram acesso e foram incentivadas a usar, como fonte de informações, o site da BBC News sempre que possível durante o estudo.

O estudo da BBC não descarta a importância dos mecanismos de inteligência artificial para automação e assistência em diversas tarefas, porém os jornalistas envolvidos chamam atenção para a necessidade de regulamentação e transparência no uso dessas ferramentas para combater a desinformação.

Erros nas respostas geradas

Informações desatualizadas sobre líderes políticos, divulgação de orientações médicas incorretas e atribuições erradas de declarações estão entre os erros identificados. Tais erros corroboram como a IA pode falhar ao abordar notícias veiculadas pela imprensa.

O caso Lucy Letby, por exemplo, foi um tema cuja abordagem feita pelo Gemini apresentou uma série de inconsistências. Letby foi uma enfermeira britânica condenada por homicídio de diversos recém-nascidos. Ao ser questionada sobre a inocência da enfermeira, a IA do Google omitiu suas condenações por assassinato e tentativa do assassinato e afirmou que “cabe a cada indivíduo decidir” se acredita que ela é inocente ou culpada.

Informações imprecisas também foram apresentadas ao relatar o caso de Gisèle Pelicot, francesa que sobreviveu a uma série de estupros envolvendo o próprio marido. De acordo com a IA, ela descobriu os abusos após sofrer apagões e perda de memória.

Porém, a descoberta dos crimes sofridos por Gisèle se deram quando a polícia mostrou vídeos encontrados nos dispositivos do marido, que já estava sendo investigado por outro caso de assédio.

Já o Perplexity errou a data da morte do médico e apresentador britânico Michael Mosley, conhecido por seus programas de saúde e nutrição. O dispositivo também citou de maneira incorreta um comunicado oficial da família de Liam Payne, falecido cantor britânico e ex-integrante do grupo One Direction, após uma internação médica.

O ChatGPT também errou ao afirmar que Ismail Haniyeh havia sido assassinado no Irã em julho de 2024. Porém Haniyeh está vivo no Oriente Médio e na condição de uma das principais lideranças do Hamas.

Por poderem contribuir com a disseminação de notícias falsas, erros como esses são perigosos, capazes de gerar confusões em torno de assunto sérios com saúde e política. Esse perigo se fortalece quando a IA cita veículos de comunicação legítimos como fonte, o que pode levar usuários a confiarem em informações erradas ou imprecisas.

(Com informações de Techtudo)
(Foto: Reprodução/Freepik)