Principais destaques
- Novo classificador de imagens: ferramenta identifica material de abuso sexual infantil (CSAM), inclusive imagens produzidas por inteligência artificial.
- Alertas e bloqueios no ChatGPT: usuários que tentarem gerar ou acessar conteúdo que sexualize crianças poderão receber advertências e suspensão temporária da conta.
- Ação conjunta com autoridades: OpenAI amplia a colaboração com organizações de proteção infantil, desenvolvedores e forças policiais para detectar e denunciar conteúdos ilegais.
A OpenAI está ampliando suas medidas de segurança para combater a exploração sexual infantil na internet.
A empresa anunciou um conjunto de ferramentas que combina inteligência artificial, mecanismos de prevenção dentro do ChatGPT e recursos destinados a auxiliar investigações policiais.
A iniciativa chega em um momento de crescente preocupação com o uso de ferramentas generativas para produzir imagens sexualizadas de crianças e adolescentes.
Entre as novidades estão um classificador de imagens capaz de identificar material de abuso sexual infantil, novos alertas para usuários do ChatGPT e orientações específicas para desenvolvedores que utilizam as tecnologias da companhia.
🔎 A principal novidade está na detecção: a OpenAI também pretende disponibilizar parte dessa tecnologia gratuitamente para organizações selecionadas por meio de sua API.
Novo detector identifica imagens de abuso, inclusive as geradas por IA 🛡️
O principal lançamento é um classificador de imagens desenvolvido para identificar material de abuso sexual infantil, conhecido internacionalmente pela sigla CSAM (Child Sexual Abuse Material).
A tecnologia consegue analisar imagens inéditas, procurando sinais visuais associados a situações de abuso. Isso inclui conteúdos produzidos artificialmente por ferramentas de inteligência artificial.
O sistema atribui uma pontuação indicativa para cada imagem analisada. Esse resultado ajuda equipes especializadas a priorizar conteúdos suspeitos e decidir quais materiais precisam de uma investigação mais aprofundada.
O objetivo não é substituir os revisores humanos, mas reduzir o volume de trabalho necessário para identificar possíveis casos de exploração infantil.
A OpenAI está oferecendo acesso gratuito ao classificador por meio de sua API para determinadas empresas e organizações selecionadas.
Testes apontam redução de 48% nas imagens sinalizadas
📊 Os primeiros resultados chamam a atenção:
Durante os testes iniciais realizados com parceiros, a OpenAI identificou uma redução de 48% no número de imagens sinalizadas, mantendo a mesma quantidade de imagens abusivas detectadas.
Isso significa que o sistema conseguiu diminuir o volume de conteúdos que precisam ser analisados pelos revisores sem reduzir o número de materiais identificados como problemáticos.
Outro resultado relevante: imagens sinalizadas pelo classificador tinham o dobro de probabilidade de serem efetivamente imagens de abuso.
Na prática, a tecnologia pode ajudar organizações especializadas a direcionar seus recursos para os casos com maior potencial de representar uma violação.
OpenAI trabalha com organizações de proteção infantil
O desenvolvimento do classificador contou com a colaboração do National Center for Missing and Exploited Children (NCMEC), organização norte-americana dedicada à proteção de crianças desaparecidas e vítimas de exploração.
A empresa também está trabalhando com outras duas organizações:
- Tech Coalition: iniciativa que reúne empresas de tecnologia para combater a exploração e o abuso sexual infantil na internet.
- ROOST: organização dedicada ao desenvolvimento de ferramentas e soluções de segurança para enfrentar riscos relacionados à exploração infantil.
A colaboração busca ampliar o acesso à tecnologia e facilitar sua utilização por organizações que atuam diretamente na identificação e prevenção desses crimes.
💡 A estratégia da OpenAI vai além de bloquear conteúdos dentro do ChatGPT: a empresa quer levar ferramentas de detecção para outras organizações que combatem o abuso infantil na internet.
ChatGPT terá alertas e suspensões temporárias para usuários ⚠️
Outra mudança importante envolve a experiência de utilização do ChatGPT.
A OpenAI está introduzindo novas telas de advertência para impedir que usuários acessem materiais que sexualizem crianças ou tentem produzir esse tipo de conteúdo.
Quando alguém fizer solicitações dessa natureza, o ChatGPT poderá apresentar um alerta, explicar os riscos envolvidos e direcionar o usuário para serviços especializados de apoio destinados a interromper comportamentos prejudiciais.
A resposta também poderá incluir uma suspensão temporária da conta por 24 horas, funcionando como uma advertência.
É importante destacar que o ChatGPT já bloqueia conteúdos de abuso sexual infantil e solicitações relacionadas a esse tipo de material. As novas medidas acrescentam uma camada de prevenção e intervenção.
E se o comportamento continuar? A OpenAI afirma que reincidências poderão resultar na remoção permanente da conta.
Mensagens foram desenvolvidas com especialistas
A empresa afirma que as mensagens e diretrizes utilizadas nesses alertas foram elaboradas com a participação de organizações e pesquisadores especializados em prevenção do abuso sexual infantil.
Entre os colaboradores estão:
- Protect Children, organização finlandesa dedicada à proteção de crianças.
- Lucy Faithfull Foundation, instituição britânica que trabalha na prevenção do abuso sexual infantil.
- Joel Scanlan, pesquisador da Universidade da Tasmânia.
Scanlan participou de uma avaliação independente de um teste anterior que analisou como mensagens de advertência em chatbots poderiam ajudar a reduzir buscas por imagens sexuais ilegais envolvendo crianças.
A iniciativa indica que a OpenAI pretende utilizar não apenas bloqueios tecnológicos, mas também mensagens de intervenção para tentar impedir a continuidade de comportamentos prejudiciais.
Desenvolvedores também terão novas regras para combater CSAM
A iniciativa não ficará restrita aos produtos desenvolvidos diretamente pela OpenAI.
A empresa também está publicando orientações para desenvolvedores que utilizam suas ferramentas, com recomendações para prevenir, identificar e facilitar a denúncia de material de abuso sexual infantil.
As diretrizes procuram ajudar empresas a incorporar mecanismos de segurança em seus próprios aplicativos e serviços.
Nos primeiros testes, a OpenAI afirma que as orientações ajudaram diferentes desenvolvedores a adotar ferramentas de proteção infantil e realizar o registro necessário para denunciar material CSAM ao NCMEC.
Isso é particularmente relevante porque aplicativos baseados em inteligência artificial podem oferecer experiências bastante diferentes, mesmo quando utilizam modelos de uma mesma plataforma.
A responsabilidade pela segurança, portanto, também precisa alcançar quem constrói produtos sobre essas tecnologias.
Inteligência artificial chega às investigações policiais 🚔
A OpenAI também está ampliando o suporte a autoridades responsáveis por investigações envolvendo a segurança infantil.
A empresa está disponibilizando recursos baseados em inteligência artificial para auxiliar equipes policiais, incluindo:
- Plugins específicos para atividades relacionadas à proteção infantil.
- Ferramentas de investigação.
- Recursos para análise de grandes volumes de dados complexos.
- Treinamento para investigadores.
- Um guia prático sobre a utilização de inteligência artificial nas investigações.
O acesso a esses recursos será administrado por responsáveis pelos programas, permitindo controlar quais profissionais poderão utilizar as ferramentas.
A proposta é ajudar investigadores a lidar com grandes quantidades de informações e tornar determinadas etapas das investigações mais eficientes.
Pressão sobre empresas de IA aumenta após casos envolvendo crianças
O anúncio também precisa ser entendido dentro de um contexto mais amplo de questionamentos sobre a segurança dos sistemas de inteligência artificial.
A OpenAI enfrentou diversos processos judiciais nos últimos anos, incluindo ações de famílias que responsabilizam a tecnologia da empresa por danos envolvendo usuários, especialmente crianças e adolescentes.
A organização sem fins lucrativos Common Sense Media, especializada em segurança e bem-estar digital de jovens, classificou a tecnologia da OpenAI como um risco inaceitável para adolescentes.
O problema não está restrito ao ChatGPT.
Outros chatbots também foram associados à produção de imagens sexualizadas sem consentimento. Um dos casos mencionados envolve o Grok, ferramenta de inteligência artificial da xAI, que teria sido utilizada para transformar uma fotografia de infância em uma imagem explícita.
O desafio é maior do que simplesmente impedir determinadas respostas: as empresas precisam considerar como suas tecnologias podem ser utilizadas para produzir, modificar e distribuir conteúdos prejudiciais.
OpenAI já vinha ampliando suas medidas de segurança
O novo pacote de ferramentas faz parte de uma sequência de mudanças implementadas pela empresa nos últimos 12 meses.
Entre as iniciativas anunciadas anteriormente estão:
- Abril de 2026: publicação de um novo plano de segurança para enfrentar o crescimento da exploração sexual infantil.
- Dezembro de 2025: atualização das diretrizes dos modelos para estabelecer restrições adicionais relacionadas à segurança de adolescentes.
- Outubro de 2026: ajustes no modelo para evitar a geração de conteúdos prejudiciais.
- Agosto de 2026: lançamento de uma versão especial do ChatGPT com recursos adicionais de segurança para adolescentes.
A nova iniciativa amplia essa estratégia, combinando prevenção, detecção automatizada, intervenção com usuários e colaboração com autoridades.
O próximo desafio será levar a proteção para todo o ecossistema
A inteligência artificial tornou mais acessível a criação e a manipulação de imagens, mas também oferece recursos para identificar conteúdos ilegais e apoiar investigações.
A iniciativa da OpenAI tenta explorar esse segundo lado da tecnologia.
O resultado dependerá da capacidade de implementar os mecanismos de proteção em diferentes plataformas, reduzir falsos positivos e garantir que organizações especializadas tenham acesso às ferramentas necessárias.
A questão agora é saber até que ponto essas medidas conseguirão acompanhar a velocidade com que novas ferramentas generativas estão sendo desenvolvidas e utilizadas indevidamente.
