OpenAI reforça combate ao abuso infantil com novo detector de imagens e alertas no ChatGPT

Renê Fraga
11 min de leitura

Principais destaques

  • Novo classificador de imagens: ferramenta identifica material de abuso sexual infantil (CSAM), inclusive imagens produzidas por inteligência artificial.
  • Alertas e bloqueios no ChatGPT: usuários que tentarem gerar ou acessar conteúdo que sexualize crianças poderão receber advertências e suspensão temporária da conta.
  • Ação conjunta com autoridades: OpenAI amplia a colaboração com organizações de proteção infantil, desenvolvedores e forças policiais para detectar e denunciar conteúdos ilegais.

A OpenAI está ampliando suas medidas de segurança para combater a exploração sexual infantil na internet.

A empresa anunciou um conjunto de ferramentas que combina inteligência artificial, mecanismos de prevenção dentro do ChatGPT e recursos destinados a auxiliar investigações policiais.

A iniciativa chega em um momento de crescente preocupação com o uso de ferramentas generativas para produzir imagens sexualizadas de crianças e adolescentes.

Entre as novidades estão um classificador de imagens capaz de identificar material de abuso sexual infantil, novos alertas para usuários do ChatGPT e orientações específicas para desenvolvedores que utilizam as tecnologias da companhia.

🔎 A principal novidade está na detecção: a OpenAI também pretende disponibilizar parte dessa tecnologia gratuitamente para organizações selecionadas por meio de sua API.

Novo detector identifica imagens de abuso, inclusive as geradas por IA 🛡️

O principal lançamento é um classificador de imagens desenvolvido para identificar material de abuso sexual infantil, conhecido internacionalmente pela sigla CSAM (Child Sexual Abuse Material).

A tecnologia consegue analisar imagens inéditas, procurando sinais visuais associados a situações de abuso. Isso inclui conteúdos produzidos artificialmente por ferramentas de inteligência artificial.

O sistema atribui uma pontuação indicativa para cada imagem analisada. Esse resultado ajuda equipes especializadas a priorizar conteúdos suspeitos e decidir quais materiais precisam de uma investigação mais aprofundada.

O objetivo não é substituir os revisores humanos, mas reduzir o volume de trabalho necessário para identificar possíveis casos de exploração infantil.

A OpenAI está oferecendo acesso gratuito ao classificador por meio de sua API para determinadas empresas e organizações selecionadas.

Testes apontam redução de 48% nas imagens sinalizadas

📊 Os primeiros resultados chamam a atenção:

Durante os testes iniciais realizados com parceiros, a OpenAI identificou uma redução de 48% no número de imagens sinalizadas, mantendo a mesma quantidade de imagens abusivas detectadas.

Isso significa que o sistema conseguiu diminuir o volume de conteúdos que precisam ser analisados pelos revisores sem reduzir o número de materiais identificados como problemáticos.

Outro resultado relevante: imagens sinalizadas pelo classificador tinham o dobro de probabilidade de serem efetivamente imagens de abuso.

Na prática, a tecnologia pode ajudar organizações especializadas a direcionar seus recursos para os casos com maior potencial de representar uma violação.

OpenAI trabalha com organizações de proteção infantil

O desenvolvimento do classificador contou com a colaboração do National Center for Missing and Exploited Children (NCMEC), organização norte-americana dedicada à proteção de crianças desaparecidas e vítimas de exploração.

A empresa também está trabalhando com outras duas organizações:

  • Tech Coalition: iniciativa que reúne empresas de tecnologia para combater a exploração e o abuso sexual infantil na internet.
  • ROOST: organização dedicada ao desenvolvimento de ferramentas e soluções de segurança para enfrentar riscos relacionados à exploração infantil.

A colaboração busca ampliar o acesso à tecnologia e facilitar sua utilização por organizações que atuam diretamente na identificação e prevenção desses crimes.

💡 A estratégia da OpenAI vai além de bloquear conteúdos dentro do ChatGPT: a empresa quer levar ferramentas de detecção para outras organizações que combatem o abuso infantil na internet.

ChatGPT terá alertas e suspensões temporárias para usuários ⚠️

Outra mudança importante envolve a experiência de utilização do ChatGPT.

A OpenAI está introduzindo novas telas de advertência para impedir que usuários acessem materiais que sexualizem crianças ou tentem produzir esse tipo de conteúdo.

Quando alguém fizer solicitações dessa natureza, o ChatGPT poderá apresentar um alerta, explicar os riscos envolvidos e direcionar o usuário para serviços especializados de apoio destinados a interromper comportamentos prejudiciais.

A resposta também poderá incluir uma suspensão temporária da conta por 24 horas, funcionando como uma advertência.

É importante destacar que o ChatGPT já bloqueia conteúdos de abuso sexual infantil e solicitações relacionadas a esse tipo de material. As novas medidas acrescentam uma camada de prevenção e intervenção.

E se o comportamento continuar? A OpenAI afirma que reincidências poderão resultar na remoção permanente da conta.

Mensagens foram desenvolvidas com especialistas

A empresa afirma que as mensagens e diretrizes utilizadas nesses alertas foram elaboradas com a participação de organizações e pesquisadores especializados em prevenção do abuso sexual infantil.

Entre os colaboradores estão:

  • Protect Children, organização finlandesa dedicada à proteção de crianças.
  • Lucy Faithfull Foundation, instituição britânica que trabalha na prevenção do abuso sexual infantil.
  • Joel Scanlan, pesquisador da Universidade da Tasmânia.

Scanlan participou de uma avaliação independente de um teste anterior que analisou como mensagens de advertência em chatbots poderiam ajudar a reduzir buscas por imagens sexuais ilegais envolvendo crianças.

A iniciativa indica que a OpenAI pretende utilizar não apenas bloqueios tecnológicos, mas também mensagens de intervenção para tentar impedir a continuidade de comportamentos prejudiciais.

Desenvolvedores também terão novas regras para combater CSAM

A iniciativa não ficará restrita aos produtos desenvolvidos diretamente pela OpenAI.

A empresa também está publicando orientações para desenvolvedores que utilizam suas ferramentas, com recomendações para prevenir, identificar e facilitar a denúncia de material de abuso sexual infantil.

As diretrizes procuram ajudar empresas a incorporar mecanismos de segurança em seus próprios aplicativos e serviços.

Nos primeiros testes, a OpenAI afirma que as orientações ajudaram diferentes desenvolvedores a adotar ferramentas de proteção infantil e realizar o registro necessário para denunciar material CSAM ao NCMEC.

Isso é particularmente relevante porque aplicativos baseados em inteligência artificial podem oferecer experiências bastante diferentes, mesmo quando utilizam modelos de uma mesma plataforma.

A responsabilidade pela segurança, portanto, também precisa alcançar quem constrói produtos sobre essas tecnologias.

Inteligência artificial chega às investigações policiais 🚔

A OpenAI também está ampliando o suporte a autoridades responsáveis por investigações envolvendo a segurança infantil.

A empresa está disponibilizando recursos baseados em inteligência artificial para auxiliar equipes policiais, incluindo:

  • Plugins específicos para atividades relacionadas à proteção infantil.
  • Ferramentas de investigação.
  • Recursos para análise de grandes volumes de dados complexos.
  • Treinamento para investigadores.
  • Um guia prático sobre a utilização de inteligência artificial nas investigações.

O acesso a esses recursos será administrado por responsáveis pelos programas, permitindo controlar quais profissionais poderão utilizar as ferramentas.

A proposta é ajudar investigadores a lidar com grandes quantidades de informações e tornar determinadas etapas das investigações mais eficientes.

Pressão sobre empresas de IA aumenta após casos envolvendo crianças

O anúncio também precisa ser entendido dentro de um contexto mais amplo de questionamentos sobre a segurança dos sistemas de inteligência artificial.

A OpenAI enfrentou diversos processos judiciais nos últimos anos, incluindo ações de famílias que responsabilizam a tecnologia da empresa por danos envolvendo usuários, especialmente crianças e adolescentes.

A organização sem fins lucrativos Common Sense Media, especializada em segurança e bem-estar digital de jovens, classificou a tecnologia da OpenAI como um risco inaceitável para adolescentes.

O problema não está restrito ao ChatGPT.

Outros chatbots também foram associados à produção de imagens sexualizadas sem consentimento. Um dos casos mencionados envolve o Grok, ferramenta de inteligência artificial da xAI, que teria sido utilizada para transformar uma fotografia de infância em uma imagem explícita.

O desafio é maior do que simplesmente impedir determinadas respostas: as empresas precisam considerar como suas tecnologias podem ser utilizadas para produzir, modificar e distribuir conteúdos prejudiciais.

OpenAI já vinha ampliando suas medidas de segurança

O novo pacote de ferramentas faz parte de uma sequência de mudanças implementadas pela empresa nos últimos 12 meses.

Entre as iniciativas anunciadas anteriormente estão:

  • Abril de 2026: publicação de um novo plano de segurança para enfrentar o crescimento da exploração sexual infantil.
  • Dezembro de 2025: atualização das diretrizes dos modelos para estabelecer restrições adicionais relacionadas à segurança de adolescentes.
  • Outubro de 2026: ajustes no modelo para evitar a geração de conteúdos prejudiciais.
  • Agosto de 2026: lançamento de uma versão especial do ChatGPT com recursos adicionais de segurança para adolescentes.

A nova iniciativa amplia essa estratégia, combinando prevenção, detecção automatizada, intervenção com usuários e colaboração com autoridades.

O próximo desafio será levar a proteção para todo o ecossistema

A inteligência artificial tornou mais acessível a criação e a manipulação de imagens, mas também oferece recursos para identificar conteúdos ilegais e apoiar investigações.

A iniciativa da OpenAI tenta explorar esse segundo lado da tecnologia.

O resultado dependerá da capacidade de implementar os mecanismos de proteção em diferentes plataformas, reduzir falsos positivos e garantir que organizações especializadas tenham acesso às ferramentas necessárias.

A questão agora é saber até que ponto essas medidas conseguirão acompanhar a velocidade com que novas ferramentas generativas estão sendo desenvolvidas e utilizadas indevidamente.

Apoie o Eurisko
Este conteúdo é independente, sem anúncios e feito por pessoas.
A inteligência artificial e as mudanças recentes do Google reduziram significativamente o alcance dos sites independentes. Se este conteúdo foi útil para você, considere apoiar o Eurisko e todo o ecossistema de projetos com qualquer valor.
Quero apoiar
Seguir:
Renê Fraga é fundador e editor-chefe do Eurisko, ecossistema editorial independente dedicado à inteligência artificial, código aberto, tecnologia e cultura digital. Atuando com projetos online desde 1996, escreve há mais de 20 anos sobre tecnologia e inovação, acompanhando a evolução da internet e o impacto das novas tecnologias na forma como vivemos, trabalhamos e pensamos.
Nenhum comentário