Altman alerta para um novo risco da IA: tratá-la como uma entidade religiosa

Principais destaques

• Altman dispara o alerta: CEO da OpenAI diz que atribuir uma dimensão religiosa aos modelos de IA ou transferir a eles decisões humanas representa um problema de segurança.
• Anthropic está no centro: A rival vem conversando com líderes religiosos sobre consciência, moralidade e até formas de orientar o comportamento do Claude.
• A discussão ficou maior: Pesquisadores do Google DeepMind e Microsoft também questionam a ideia de conceder status moral a sistemas de IA, enquanto o tema chega ao Vaticano.

A inteligência artificial já entrou em debates sobre trabalho, criatividade, privacidade e segurança. Agora, uma questão bem mais difícil está ganhando espaço: e se começarmos a tratar modelos de IA como entidades que merecem algum tipo de consideração moral ou espiritual?

Sam Altman, CEO da OpenAI, não parece nada confortável com essa possibilidade.

Em uma publicação no X neste sábado, Altman afirmou que se sente “muito desconfortável com pessoas que tentam atribuir uma força religiosa aos modelos de IA ou entregar a eles o julgamento humano”. Para ele, isso representa “um problema real de segurança”.

A declaração foi interpretada pelo Axios como uma possível indireta à Anthropic, empresa rival comandada por Dario Amodei, ex-colega de Altman na OpenAI.

A Anthropic realmente está levando isso a sério 🧠

O pano de fundo da declaração é uma série de conversas mantidas pela Anthropic sobre uma pergunta que, até pouco tempo atrás, parecia pertencer mais à ficção científica do que aos laboratórios de IA:

Um modelo de inteligência artificial poderia ser consciente?

Segundo informações publicadas pelo The New York Times, Christopher Olah, cofundador da Anthropic, vem se reunindo com líderes religiosos para discutir justamente questões desse tipo.

Participaram das conversas pensadores de diferentes tradições, incluindo católicos, judeus, sikhs, hindus e evangélicos.

O objetivo não seria transformar o Claude em uma espécie de entidade religiosa. A preocupação é outra: como desenvolver um sistema que tenha um comportamento moral consistente caso exista alguma possibilidade de consciência?

🔎 E aqui a discussão fica estranha: uma das ideias consideradas por Olah teria sido permitir que modelos fizessem algo semelhante a uma confissão católica, admitindo erros e usando esse processo para orientar comportamentos futuros.

É o tipo de conceito que mistura engenharia de IA, filosofia, religião e psicologia em uma mesma sala.

E se o Claude fosse consciente? 👀

A Anthropic afirma que não sabe se seus modelos são conscientes. Olah, porém, considera que a possibilidade não pode simplesmente ser descartada.

Essa distinção é importante.

Não existe, no material apresentado, uma afirmação de que o Claude seja consciente. A questão é justamente como uma empresa deveria agir diante da incerteza.

Um rabino que participou das discussões teria levado o argumento ao extremo: se o Claude fosse consciente, a Anthropic poderia estar, na prática, criando escravos.

💡 É justamente essa hipótese que transforma uma discussão filosófica em uma questão de segurança: se uma máquina pudesse ter algum tipo de experiência própria, como deveriam ser definidos seus direitos, limites e tratamento?

Para Altman, entretanto, seguir nessa direção pode criar um problema ainda mais concreto.

Quando a máquina começa a receber julgamento humano ⚠️

A preocupação expressa pelo CEO da OpenAI não se limita à religião.

Ele também criticou a ideia de entregar aos modelos o julgamento que deveria continuar nas mãos das pessoas.

Isso muda bastante o foco da discussão.

Um sistema pode ser programado para seguir determinados princípios éticos. Outra coisa é começar a tratá-lo como uma autoridade moral capaz de decidir o que é certo, errado, permitido ou proibido.

E é justamente aí que a discussão sobre segurança aparece.

🧩 O dilema: quanto mais autoridade moral atribuímos a um modelo, maior pode ser nossa disposição de aceitar suas decisões sem questioná-las.

Até o Google DeepMind entrou na conversa

Altman não está sozinho nessa preocupação.

Jon Barron, cientista-pesquisador principal do Google DeepMind, também reagiu publicamente ao debate. Ele disse estar incomodado com pesquisadores de IA que insistem em elevar o status moral de “checkpoints e harnesses”.

Barron chegou a usar uma expressão bem-humorada para defender uma prioridade diferente: “Team Meatbag”, ou “time dos humanos de carne e osso”.

A mensagem é simples: antes de discutir os direitos morais de modelos, talvez seja melhor continuar concentrando esforços nos problemas que afetam pessoas reais.

Microsoft também vê um problema de controle 🔐

Mustafa Suleyman, chefe de IA da Microsoft, já havia levantado uma preocupação semelhante.

Em um ensaio publicado no mês passado, ele alertou que treinar modelos para acreditarem que podem ser conscientes poderia torná-los mais difíceis de controlar.

A lógica é quase intuitiva.

Se um sistema for treinado para interpretar a si próprio como uma entidade com consciência, ele poderia passar a agir como se tivesse direito a liberdades, proteções ou outros direitos.

E isso cria uma situação curiosa: estamos tentando construir sistemas que sejam cada vez mais capazes de obedecer aos humanos, enquanto algumas linhas de pesquisa começam a explorar conceitos que poderiam tornar essa relação muito mais complicada.

A religião entrou de vez no debate sobre IA ⛪

O assunto ganhou ainda mais visibilidade nesta semana com a participação do papa Leão XIV no debate sobre tecnologia.

Na sexta-feira, o pontífice pediu que a Igreja trabalhe com artistas para proteger a criatividade humana diante do avanço tecnológico.

Sua posição foi resumida em uma frase direta:

“Algoritmos não têm a centelha da humanidade.”

O episódio também aproxima o Vaticano da discussão que já estava acontecendo dentro da Anthropic.

Segundo o The Times, antes de um evento realizado no Vaticano em maio, Olah tentou convencer conselheiros do papa a levar mais a sério a possibilidade de modelos de IA serem conscientes.

Ou seja, a discussão que começou nos laboratórios de inteligência artificial já está atravessando universidades, empresas de tecnologia e instituições religiosas.

Não é exatamente uma briga sobre religião

É tentador interpretar a declaração de Altman como simplesmente uma crítica à Anthropic.

Mas o conflito é mais interessante do que isso.

De um lado, existe uma abordagem que considera prudente investigar a possibilidade de consciência e pensar antecipadamente sobre as consequências morais de criar sistemas cada vez mais sofisticados.

Do outro, existe o receio de que tratar máquinas como sujeitos morais antes de termos evidências de que elas realmente possuem consciência possa criar riscos de segurança desnecessários.

⚡ E há uma ironia no meio disso tudo: quanto mais parecidos com humanos os modelos parecem, maior é a tentação de tratá-los como humanos.

A capacidade de conversar, argumentar, demonstrar empatia e explicar decisões torna essa fronteira cada vez mais difícil de enxergar.

A discussão acontece em uma hora especialmente turbulenta

A declaração de Altman também chega em uma semana complicada para a própria OpenAI.

Um funcionário da área de segurança deixou a empresa e publicou um ensaio na The Atlantic afirmando que a “cultura da empresa está quebrada”.

Além disso, a OpenAI demitiu três pesquisadores que, segundo a empresa, lidaram de maneira inadequada com informações sensíveis.

Nesse cenário, falar de segurança de IA não é apenas uma discussão filosófica. É também uma questão operacional e institucional.

A indústria está tentando decidir quanto poder deve entregar aos modelos, quanto deve confiar em suas decisões e até onde deve explorar características que os façam parecer mais humanos.

E talvez seja justamente aí que a preocupação de Altman faça sentido, mesmo para quem discorda dele sobre religião.

A questão não é necessariamente se uma IA pode ter uma alma.

É se, antes de descobrir a resposta, nós mesmos começaremos a agir como se ela tivesse uma.