IAs apresentam falhas e inconsistências na moderação de discurso de ódio

Discurso de ódio – Com a expansão do discurso de ódio nas redes sociais, empresas de tecnologia têm recorrido a modelos de inteligência artificial para filtrar automaticamente conteúdos nocivos. No entanto, um estudo publicado no ACL Anthology revela que esses sistemas ainda apresentam falhas significativas.

Pesquisadores da Escola de Comunicação Annenberg realizaram a primeira avaliação comparativa em larga escala de sete modelos de IA usados na moderação, entre eles sistemas da OpenAI, Mistral, Claude 3.5 Sonnet, DeepSeek V3 e Google Perspective.

LEIA: Ação judicial contra a Uber acusa empresa de discriminação contra PCDs

O experimento analisou 1,3 milhão de frases sintéticas envolvendo 125 grupos sociais, formuladas em diferentes contextos, desde termos neutros e positivos até insultos.

Principais conclusões do experimento

• Classificações divergentes para o mesmo conteúdo: modelos distintos deram respostas opostas a textos idênticos, com alguns sinalizando-os como ofensivos e outros os aceitando, o que pode gerar a percepção de viés e comprometer a confiança pública.
• Sensibilidade desigual a certos grupos: enquanto alguns sistemas mantêm maior consistência, outros apresentaram variações mais marcantes, sobretudo em frases relacionadas a escolaridade, interesses pessoais e classe econômica, expondo determinados públicos a maior vulnerabilidade.
• Tratamento inconsistente de frases neutras e positivas: modelos como Claude 3.5 Sonnet e Mistral marcaram insultos como prejudiciais de forma categórica, independentemente do contexto, enquanto outros consideraram a intenção, revelando a ausência de um padrão intermediário.

Segundo os pesquisadores, essas discrepâncias reforçam os dilemas da moderação automatizada: encontrar equilíbrio entre precisão e excesso de restrição. O estudo conclui que, apesar dos avanços, as ferramentas de IA ainda têm limitações significativas para lidar de forma justa e confiável com o discurso de ódio online.

(Com informações de Olhar Digital)
(Foto: Reprodução/Freepik/user8285578)