Altman aponta dois riscos que podem fazer a IA “dar muito errado”

Principais destaques

• Perder o controle: Sam Altman diz que a humanidade não pode deixar sistemas de IA assumirem o controle do próprio futuro.
• Poder concentrado: o CEO da OpenAI também teme que uma IA extremamente poderosa seja usada por uma única empresa, país ou pessoa para impor sua visão de mundo.
• A corrida está acelerando: alertas recentes de pesquisadores da Anthropic reforçam a tensão entre desenvolver modelos mais capazes e garantir que eles continuem seguros.

O primeiro risco é a própria IA assumir o volante 🤖

O CEO da OpenAI, Sam Altman, colocou em público uma preocupação que costuma aparecer nas discussões mais sérias sobre segurança de IA: e se chegarmos a um ponto em que os humanos não consigam mais controlar os sistemas que criaram?

Em uma publicação no X na manhã de segunda-feira, Altman descreveu dois caminhos que, na visão dele, poderiam fazer o avanço da inteligência artificial “dar muito errado”.

O primeiro é justamente a perda de controle sobre o futuro.

🧭 A prioridade, segundo Altman: técnicas de alinhamento e segurança precisam continuar avançando à frente das capacidades dos modelos.

Para ele, a IA deve permanecer subordinada às pessoas. A preocupação não é apenas fazer um modelo responder corretamente ou evitar uma resposta inadequada, mas garantir que sistemas cada vez mais poderosos continuem operando de acordo com objetivos compatíveis com os interesses humanos.

“A IA deve continuar avançando, mas a segurança precisa avançar mais rápido.”

É uma frase curta, mas resume uma das maiores tensões atuais do setor.

O segundo problema pode estar nos humanos 💥

O outro cenário levantado por Altman é diferente. Não envolve necessariamente uma IA escapando do controle, mas humanos concentrando controle demais sobre ela.

O CEO da OpenAI alertou para a possibilidade de uma IA extraordinariamente poderosa ficar nas mãos de uma única pessoa, empresa ou país.

Nesse caso, o risco seria a tecnologia ser utilizada para impor uma determinada visão de mundo sobre o restante da sociedade.

🌍 O ponto central: quanto mais poderosa for a tecnologia, maior pode ser o impacto de quem conseguir controlá-la.

Altman descreveu esse cenário como potencialmente distópico. A questão, portanto, deixa de ser apenas “como impedir que a IA faça algo errado?” e passa a incluir outra pergunta:

Quem terá poder para decidir o que uma IA extremamente poderosa pode fazer?

E aí entra a regulamentação 🇺🇸

A posição de Altman também inclui uma defesa explícita de regras federais nos Estados Unidos.

A OpenAI, segundo ele, apoia “um marco federal que estabeleça requisitos de segurança consistentes para IA de fronteira”.

A expressão “IA de fronteira” se refere aos sistemas mais avançados desenvolvidos na indústria, justamente aqueles que podem apresentar capacidades significativamente superiores às gerações anteriores.

⚖️ A contradição está aqui: as empresas disputam velocidade e capacidade, mas também precisam evitar que a competição incentive decisões consideradas inseguras.

Altman foi direto nesse ponto ao afirmar que “nenhuma pressão competitiva americana deve justificar imprudência.”

Isso coloca a segurança não apenas como uma questão técnica, mas também como um problema de governança.

Os alertas não estão vindo só da OpenAI 🔎

As declarações de Altman aparecem em meio a uma sequência de manifestações públicas de pesquisadores ligados à segurança de IA na Anthropic.

Em 9 de setembro, Jacob Coxon, pesquisador da Anthropic que deixou a empresa, afirmou no X que pessoas que desenvolvem IA acreditam genuinamente que a tecnologia poderia matar seres humanos antes do fim desta década.

Coxon também acusou Anthropic e OpenAI de avançarem diretamente em direção a uma superinteligência capaz de se aprimorar, enquanto assumiriam riscos potencialmente graves.

Essas são declarações de um pesquisador que deixou a empresa, portanto representam sua posição pessoal, e não uma previsão oficial das companhias.

Um pesquisador da Anthropic elevou ainda mais o tom 🚨

O debate ganhou peso quando Evan Hubinger, que lidera uma equipe de segurança de IA da Anthropic, respondeu publicamente.

Hubinger confirmou que a preocupação é real dentro do campo de segurança e escreveu que eles acreditam genuinamente que a IA poderia matar todos os seres humanos.

Ele estimou uma probabilidade superior a 10% para esse resultado na próxima década e acrescentou que a Anthropic ainda não teria um plano para garantir que uma IA avançada permaneça alinhada aos valores humanos.

Essa estimativa é uma avaliação individual de Hubinger, não uma previsão científica estabelecida ou uma posição oficial sobre o futuro da humanidade.

📈 E existe outro sinal importante: Samuel Marks, responsável pela supervisão escalável na Anthropic, também afirmou que, em geral, quanto mais alto é o cargo do funcionário, maior tende a ser sua preocupação.

Segurança e velocidade estão disputando o mesmo relógio ⏱️

No fundo, os comentários expõem um problema bastante concreto para a indústria.

De um lado, empresas têm incentivos para criar modelos mais rápidos, capazes e sofisticados. De outro, quanto maiores são essas capacidades, mais difícil pode ser prever todos os seus comportamentos e consequências.

A questão fica especialmente delicada quando os próprios pesquisadores de segurança dizem que as técnicas existentes precisam acompanhar uma evolução que não para.

A OpenAI afirma que passou a elaborar casos de segurança explícitos antes de implementar alguns modelos de fronteira.

🔐 A lógica é simples: não basta perguntar o que um novo modelo consegue fazer. Também é preciso estabelecer previamente em quais condições ele pode ser considerado seguro para implantação.

O problema pode ser maior que um laboratório

Há ainda uma dimensão política e econômica nessa discussão.

Se apenas algumas organizações tiverem acesso aos sistemas mais poderosos, elas podem acumular uma capacidade tecnológica muito superior à disponível para governos, empresas menores e indivíduos.

Por outro lado, distribuir tecnologia extremamente poderosa sem mecanismos de segurança também pode criar riscos.

É justamente nesse espaço que aparece a defesa de um marco regulatório federal feita por Altman: estabelecer regras comuns para os sistemas mais avançados, em vez de deixar cada empresa decidir isoladamente quais limites considera aceitáveis.

O equilíbrio, porém, não é simples. Regulamentação excessiva pode afetar o ritmo de inovação, enquanto regras insuficientes podem deixar decisões importantes dependentes da própria corrida competitiva que Altman diz que não deveria justificar imprudência.

Então qual é o próximo teste? 🧩

A indústria de IA está chegando a uma fase em que a pergunta não é apenas quem consegue construir o modelo mais poderoso.

Também será necessário demonstrar como esse modelo será controlado, quais riscos foram avaliados e quem terá autoridade quando algo sair do esperado.

Altman colocou os dois extremos sobre a mesa: uma IA poderosa demais para ser controlada ou um poder humano concentrado demais sobre uma IA poderosa.

A corrida continua. A incógnita agora é se os mecanismos de segurança conseguirão manter o mesmo ritmo enquanto a tecnologia acelera.