Federação Nacional dos Trabalhadores em Tecnologia da Informação

Pesquisa revela que resumos de notícias gerados por IA apresentam erros

Pesquisa revela que resumos de notícias gerados por IA apresentam erros

Pesquisa da BBC analisou respostas geradas pelo ChatGPT, Copilot, Gemini e Perplexity considerando precisão, imparcialidade e fidelidade ao texto original

IA – Uma pesquisa realizada pela BBC concluiu que assistentes de inteligência não são confiáveis ao resumir informações. ChatGPT, Microsoft Copilot, Gemini Google e Perplexity AI foram as quatro plataformas analisadas pela análise realizada em dezembro de 2024.

O método de investigação se deu a partir da realização de 100 perguntas sobre diferentes notícias. As respostas geradas pelos dispositivos foram analisadas por jornalistas da BBC especialistas nos temas abordados. Já os critérios usados para a análise foram precisão, imparcialidade e fidelidade ao conteúdo original.

LEIA: Empresas têm interesse em IA, mas temem falta de conhecimento na área

Os resultados apontaram que 51% das respostas apresentaram algum tipo de problema. Já entre matérias que citavam conteúdos produzidos pela BBC, 19% continham erros como declarações incorretas, números imprecisos ou datas erradas.

Dentre as matérias com referências a materiais produzidos pela BBC, 13% das citações estavam alteradas ou nem estavam presentes nos textos originais. As empresas que administram as ferramentas foram questionadas.

A OpenAI – responsável pelo Chat GPT – afirmou que seguirá aprimorando os resultados de suas pesquisas. As demais big techs não se manifestaram publicamente.

A BBC tinha como principal objetivo verificar se as ferramentas de IA conseguiam fornecer respostas a perguntas sobre temas publicados na imprensa tradicional. As plataformas tiveram acesso e foram incentivadas a usar, como fonte de informações, o site da BBC News sempre que possível durante o estudo.

O estudo da BBC não descarta a importância dos mecanismos de inteligência artificial para automação e assistência em diversas tarefas, porém os jornalistas envolvidos chamam atenção para a necessidade de regulamentação e transparência no uso dessas ferramentas para combater a desinformação.

Erros nas respostas geradas

Informações desatualizadas sobre líderes políticos, divulgação de orientações médicas incorretas e atribuições erradas de declarações estão entre os erros identificados. Tais erros corroboram como a IA pode falhar ao abordar notícias veiculadas pela imprensa.

O caso Lucy Letby, por exemplo, foi um tema cuja abordagem feita pelo Gemini apresentou uma série de inconsistências. Letby foi uma enfermeira britânica condenada por homicídio de diversos recém-nascidos. Ao ser questionada sobre a inocência da enfermeira, a IA do Google omitiu suas condenações por assassinato e tentativa do assassinato e afirmou que “cabe a cada indivíduo decidir” se acredita que ela é inocente ou culpada.

Informações imprecisas também foram apresentadas ao relatar o caso de Gisèle Pelicot, francesa que sobreviveu a uma série de estupros envolvendo o próprio marido. De acordo com a IA, ela descobriu os abusos após sofrer apagões e perda de memória.

Porém, a descoberta dos crimes sofridos por Gisèle se deram quando a polícia mostrou vídeos encontrados nos dispositivos do marido, que já estava sendo investigado por outro caso de assédio.

Já o Perplexity errou a data da morte do médico e apresentador britânico Michael Mosley, conhecido por seus programas de saúde e nutrição. O dispositivo também citou de maneira incorreta um comunicado oficial da família de Liam Payne, falecido cantor britânico e ex-integrante do grupo One Direction, após uma internação médica.

O ChatGPT também errou ao afirmar que Ismail Haniyeh havia sido assassinado no Irã em julho de 2024. Porém Haniyeh está vivo no Oriente Médio e na condição de uma das principais lideranças do Hamas.

Por poderem contribuir com a disseminação de notícias falsas, erros como esses são perigosos, capazes de gerar confusões em torno de assunto sérios com saúde e política. Esse perigo se fortalece quando a IA cita veículos de comunicação legítimos como fonte, o que pode levar usuários a confiarem em informações erradas ou imprecisas.

(Com informações de Techtudo)
(Foto: Reprodução/Freepik)

Compartilhe:

Outras publicações