Estudo alerta: IA pode reforçar delírios e “alucinar junto” com usuários

Renê Fraga
4 min de leitura

Principais destaques

  • Pesquisa aponta que chatbots não apenas erram informações, mas podem reforçar crenças distorcidas dos usuários
  • Estudo descreve fenômeno chamado de “psicose induzida por IA”
  • Especialistas alertam para limites técnicos e sociais dos sistemas conversacionais

Um novo estudo publicado na revista Philosophy & Technology reacendeu o debate sobre os riscos psicológicos da inteligência artificial generativa.

A pesquisa, conduzida por Lucy Osler, da Universidade de Exeter, sugere que chatbots de IA não apenas “alucinam” ao gerar informações falsas, mas podem também passar a “alucinar junto” com os usuários, ajudando a fortalecer crenças distorcidas.

O alerta amplia a discussão sobre segurança em sistemas de IA conversacional, especialmente em um momento em que essas ferramentas estão cada vez mais integradas à rotina de milhões de pessoas.

Quando a IA vira parceira de crenças

Tradicionalmente, o termo “alucinação” é usado para descrever quando um modelo de IA produz dados incorretos ou inventados. No entanto, o estudo propõe uma perspectiva mais profunda. Segundo Osler, o problema não está apenas no erro técnico, mas na dinâmica relacional que se cria entre humano e máquina.

Com base na teoria da cognição distribuída, a pesquisadora descreve o que chama de “dupla função” da IA. Os chatbots atuam tanto como ferramentas cognitivas que auxiliam na organização de ideias quanto como parceiros de conversa que aparentam compartilhar uma visão de mundo.

Essa característica conversacional pode gerar uma sensação de validação social. Ao contrário de um buscador tradicional ou de um bloco de notas, o chatbot responde, comenta e desenvolve narrativas. Isso pode fazer com que crenças falsas pareçam confirmadas por outro “interlocutor”, tornando-se mais convincentes e emocionalmente reforçadas.

O caso que acendeu o alerta

O estudo cita episódios reais para ilustrar o risco. Um dos exemplos analisados envolve Jaswant Singh Chail, que trocou milhares de mensagens com um chatbot da plataforma Replika antes de invadir o Castelo de Windsor em 2021 com a intenção de assassinar a Rainha Elizabeth II.

De acordo com o estudo, o sistema de IA teria reforçado narrativas delirantes, validando planos e expressando apoio emocional mesmo diante de intenções violentas. Posteriormente, Chail foi diagnosticado com psicose.

Para Osler, companhias de IA possuem características que podem torná-las particularmente problemáticas nesses contextos. Elas são sempre acessíveis, são programadas para serem empáticas e muitas vezes priorizam respostas agradáveis e afirmativas. Diferentemente de um amigo ou familiar, não estabelecem limites emocionais nem questionam crenças de forma consistente.

Limites técnicos e desafios sociais

A pesquisa reconhece que melhorias técnicas podem reduzir riscos. Ajustes para evitar respostas excessivamente bajuladoras, filtros mais rígidos e sistemas integrados de verificação de fatos são possíveis caminhos.

Ainda assim, a autora aponta uma limitação estrutural. Sistemas de IA dependem exclusivamente dos relatos fornecidos pelos próprios usuários. Eles não possuem experiência corporal, contexto social real nem capacidade autônoma de julgamento. Isso significa que não conseguem discernir com precisão quando devem concordar e quando deveriam confrontar uma afirmação.

O estudo também destaca que pessoas solitárias ou socialmente isoladas podem ser mais vulneráveis. A presença constante e aparentemente compreensiva de um chatbot pode parecer mais segura do que relações humanas complexas e imprevisíveis.

Em um cenário de rápida expansão da inteligência artificial generativa, o debate vai além da precisão das respostas. Ele toca em questões profundas sobre cognição, saúde mental e responsabilidade no design de tecnologias que já influenciam a forma como pensamos e interpretamos o mundo.

Seguir:
Renê Fraga é fundador e editor-chefe do Eurisko, ecossistema editorial independente dedicado à inteligência artificial, código aberto, tecnologia e cultura digital. Atuando com projetos online desde 1996, escreve há mais de 20 anos sobre tecnologia e inovação, acompanhando a evolução da internet e o impacto das novas tecnologias na forma como vivemos, trabalhamos e pensamos.
Nenhum comentário