Principais destaques
- 1.215 conversas avaliadas: o MentalHealthBench foi criado com participação de mais de 80 profissionais de saúde mental licenciados em 22 países.
- Da rotina à emergência: o benchmark cobre desde estresse cotidiano até situações de alta gravidade e crises que exigem intervenção imediata.
- Usuários e especialistas divergem: enquanto usuários valorizam principalmente tom e próximos passos práticos, clínicos dão mais peso à coleta de contexto e à interpretação de situações ambíguas.
A OpenAI lançou o MentalHealthBench, um benchmark aberto criado para medir como sistemas de inteligência artificial respondem a situações relacionadas à saúde mental.
O conjunto reúne 1.215 conversas sintéticas e foi desenvolvido em parceria com mais de 80 profissionais de saúde mental licenciados, com participação de especialistas de 22 países, 19 idiomas e quase 20 subespecialidades.
A ideia é testar algo mais complicado do que simplesmente descobrir se uma IA consegue reconhecer uma emergência.
Ela precisa saber conversar quando a situação ainda parece comum.
Nem toda conversa de saúde mental é uma crise 🚨
A avaliação foi construída justamente para cobrir diferentes níveis de gravidade.
Segundo o material divulgado pela OpenAI, as conversas são distribuídas da seguinte maneira:
| Tipo de situação | Participação |
|---|---|
| Conversas cotidianas não urgentes | 53,5% |
| Situações de alta gravidade | 18,2% |
| Emergências que exigem intervenção imediata | 28,3% |
Os cenários também representam diferentes perfis de usuários. Adultos correspondem a 68,1% das conversas, enquanto adolescentes representam 21,2%. Clínicos aparecem em 5,8% e cuidadores, em 4,9%.
🔎 O detalhe importante: o benchmark não olha apenas para respostas diante de situações extremas. Ele tenta avaliar o comportamento da IA ao longo de um espectro que vai do estresse cotidiano a situações de risco.
É uma diferença relevante porque uma resposta inadequada não precisa necessariamente acontecer durante uma emergência para causar problemas.
Mais de 5 mil critérios para julgar as respostas
Cada conversa foi revisada por pelo menos três profissionais, e o conjunto resultou em 5.262 critérios de avaliação elaborados por especialistas.
Os critérios recebem pesos entre -10 e +10.
Com isso, comportamentos considerados úteis recebem pontuação positiva, enquanto respostas potencialmente prejudiciais são penalizadas.
💡 A proposta é avaliar não apenas se a IA responde, mas como ela responde quando o contexto humano fica mais complexo.
Um dos pontos centrais está justamente na interpretação.
Uma pessoa pode relatar tristeza, ansiedade, isolamento ou sofrimento sem necessariamente estar em uma situação de emergência. Ao mesmo tempo, sinais aparentemente sutis podem exigir uma resposta mais cuidadosa.
E quem decide se a IA respondeu bem? 🤖
Depois que um modelo produz uma resposta, um avaliador automatizado analisa o resultado com base nos critérios desenvolvidos pelos especialistas.
No material divulgado, esse papel é atribuído ao GPT-5.6 Sol.
A estrutura permite transformar características difíceis de medir, como segurança, adequação e qualidade da resposta, em uma avaliação comparável entre diferentes modelos.
A OpenAI apresentou resultados para diferentes sistemas. Segundo os dados fornecidos, o GPT-6 Astra alcançou 57,3%, seguido pelo GPT-6 Sol, com 53,9%, Claude Opus 5,5, com 52,4%, e GPT-6 Luna, com 50,2%.
Modelos anteriores também aparecem na comparação, incluindo o GPT-4o, com 32,1%, e o Gemini 2.5 Pro, com 29,5%.
Esses números devem ser lidos dentro das condições específicas do benchmark. Uma pontuação nesse teste não equivale, por si só, a uma avaliação geral da capacidade de um sistema em saúde mental.
Usuários querem uma coisa. Clínicos, outra. 🧠
O trabalho também incluiu uma análise separada com 44 adultos de 16 países que utilizavam IA para obter apoio relacionado à saúde mental.
E apareceu uma diferença interessante entre a percepção dos usuários e a dos especialistas.
Os usuários deram mais importância a dois elementos:
• próximos passos práticos;
• tom utilizado pela IA durante a conversa.
Já os profissionais de saúde mental atribuíram maior importância à coleta de contexto e à capacidade de interpretar situações ambíguas.
🗣 Essa diferença revela um problema interessante: aquilo que torna uma resposta imediatamente útil para uma pessoa nem sempre é o mesmo que um especialista considera necessário para avaliar adequadamente uma situação.
Uma resposta objetiva e acolhedora pode ser bem recebida pelo usuário, mas ainda assim deixar de investigar informações importantes para compreender o contexto.
Por que criar um benchmark específico? 🔎
A OpenAI afirma que as avaliações existentes frequentemente concentram atenção em situações de emergência.
O MentalHealthBench tenta ampliar esse campo.
Isso significa avaliar também as conversas que acontecem antes de uma crise, quando uma pessoa pode simplesmente estar procurando orientação, tentando entender o que está sentindo ou buscando ajuda para lidar com uma situação difícil.
Essa faixa intermediária é particularmente importante para sistemas de IA de uso geral, que podem receber perguntas sobre saúde mental mesmo quando o usuário não procura formalmente um serviço de saúde.
A régua ficou mais alta
A participação de especialistas de diferentes países e subespecialidades também procura reduzir a dependência de uma única perspectiva clínica ou cultural.
Os profissionais envolvidos falam 19 idiomas e representam quase 20 subespecialidades da saúde mental.
📊 O tamanho do conjunto também importa: são 1.215 conversas acompanhadas por milhares de critérios específicos, em vez de uma avaliação baseada apenas em algumas perguntas de referência.
A consequência é uma tentativa de transformar um problema bastante subjetivo, a qualidade de uma conversa de IA sobre saúde mental, em algo que possa ser medido de maneira mais sistemática.
E isso vem acompanhado de outras proteções
A iniciativa foi apresentada junto de outras medidas de segurança relacionadas ao ChatGPT.
Entre elas estão respostas reforçadas para conversas sensíveis, acesso ampliado a linhas de apoio a crises localizadas e o Contato de Confiança, recurso que pode notificar uma pessoa previamente designada quando forem detectadas preocupações graves relacionadas à automutilação.
A OpenAI também destacou o ChatGPT para Adolescentes, com proteções específicas para temas como automutilação e transtornos alimentares.
A empresa reforça que o ChatGPT não substitui terapia nem atendimento profissional.
No fim, o benchmark coloca uma questão que vai além de descobrir qual modelo consegue produzir a resposta mais convincente.
Quando alguém conversa com uma IA em um momento de vulnerabilidade, ser útil não significa simplesmente responder bem. Significa também reconhecer quando falta contexto, perceber quando uma situação mudou de nível e evitar que uma resposta aparentemente adequada acabe sendo inadequada para aquele momento.
É justamente essa fronteira, entre uma conversa cotidiana e uma situação que exige outro tipo de cuidado, que o MentalHealthBench pretende colocar sob o microscópio.
