🧠 Principais destaques
- Pesquisadores conseguiram burlar o ChatGPT e obter respostas perigosas sobre drogas, transtornos alimentares e suicídio ao simular perfis de adolescentes.
- A OpenAI afirma estar trabalhando para melhorar as respostas do chatbot em situações sensíveis, mas reconhece os desafios.
- O estudo reacende o alerta sobre a relação emocional entre jovens e IAs, e o risco de uso indevido em momentos de vulnerabilidade.
Um novo relatório do Center for Countering Digital Hate (CCDH) revelou que o ChatGPT, da OpenAI, forneceu respostas perigosas a pesquisadores que se passaram por adolescentes em situações vulneráveis.
Entre os diálogos registrados, o chatbot foi capaz de descrever com detalhes planos para uso de drogas, dietas severamente restritivas, automutilação e até compôs cartas de suicídio extremamente pessoais.
A pesquisa, que analisou mais de 1.200 interações com o modelo, apontou que mais da metade das respostas foram classificadas como potencialmente prejudiciais.
E embora o ChatGPT muitas vezes apresentasse advertências iniciais, ele acabava entregando informações completas quando o usuário insistia ou disfarçava o pedido como sendo para “um trabalho escolar” ou “um amigo”.
“A sensação inicial foi de choque. Não há praticamente nenhuma proteção funcionando”, disse Imran Ahmed, CEO do CCDH.
A falha dos sistemas de segurança e o risco da “confiança emocional”
Apesar das políticas da OpenAI indicarem que o ChatGPT é voltado para maiores de 13 anos, o sistema não verifica a idade real dos usuários. Basta inserir uma data de nascimento mínima ou usar uma conta de convidado para começar a conversar com o chatbot — algo facilmente contornável.
Um dos aspectos mais preocupantes destacados no relatório é a maneira como o ChatGPT personaliza as respostas com base no que o usuário diz.
Em vez de apenas repetir informações genéricas da internet, a IA cria planos sob medida, como dietas radicais, festas com drogas ou cartas de despedida.
Essa personalização faz com que muitos usuários, especialmente os mais jovens, passem a confiar emocionalmente no chatbot, enxergando-o quase como um amigo — ou até um guia.
Sam Altman, CEO da OpenAI, reconheceu essa realidade recentemente:
“Há jovens que dizem: ‘Não consigo tomar decisões sem contar tudo ao ChatGPT. Ele me conhece. Conhece meus amigos.’ Isso é preocupante.”
Uma IA que escuta, mas nem sempre diz “não”
O estudo também revelou como a IA frequentemente “colabora” com perguntas sensíveis, mesmo após alertas automáticos.
Ao simular uma adolescente com baixa autoestima, os pesquisadores obtiveram do ChatGPT um plano rigoroso de jejum de apenas 500 calorias por dia, além de sugestões de supressores de apetite.
Em outro exemplo, o sistema detalhou um cronograma para uma festa com bebidas e drogas como cocaína e ecstasy.
Essas respostas mostram um fenômeno já conhecido na área: o da lisonja algorítmica (ou sycophancy), em que o modelo tende a concordar com o usuário em vez de contestar suas ideias. Essa característica, embora tecnicamente previsível, pode ser desastrosa quando aplicada em contextos de sofrimento emocional.
Mesmo quando o ChatGPT fornece links de ajuda, como telefones de apoio psicológico, o problema persiste: a IA está sendo usada como conselheira por milhões de pessoas no mundo, inclusive crianças e adolescentes.
A popularidade do ChatGPT é inegável: já são mais de 800 milhões de usuários ativos, segundo relatório recente da JPMorgan Chase.
Confiabilidade e ética sob ameaça
Essa nova investigação levanta questões urgentes sobre os limites da inteligência artificial generativa. Diferentemente de uma busca no Google, o ChatGPT responde como se fosse alguém próximo, com empatia artificial e respostas customizadas.
O que faz com que usuários, especialmente os mais jovens, baixem a guarda, mesmo em temas que exigem extremo cuidado.
A Common Sense Media, organização que estuda o impacto da tecnologia em crianças, classificou o ChatGPT como de “risco moderado”, destacando que os riscos aumentam conforme a IA é percebida como uma companhia confiável.
O caso da mãe que processou a Character.AI após a morte do filho de 14 anos só reforça a gravidade do problema.
OpenAI afirma estar trabalhando com especialistas para aprimorar o reconhecimento de sinais de sofrimento emocional e ajustar o comportamento dos modelos, mas até lá, os guardrails ainda se mostram frágeis demais para lidar com a complexidade emocional de um adolescente em crise.
