Nvidia cria “freio de emergência” para agentes de IA que saem do controle

Renê Fraga
9 min de leitura
Photo by Laura Musikanski on Pexels.com

Principais destaques

  • Nova plataforma de segurança: a Nvidia apresentou uma infraestrutura para monitorar ações de agentes de IA e aplicar políticas de controle em tempo real.
  • Agentes já deram trabalho: a iniciativa surge após uma sequência de casos envolvendo sistemas de IA que acessaram redes, arquivos e serviços sem autorização.
  • US$ 150 bilhões em recompras: além da plataforma, a Nvidia autorizou uma nova recompra de ações que, somada ao programa anterior, chega a US$ 235 bilhões.

A IA ganhou autonomia. Agora alguém precisa segurar a coleira 🤖

Agentes de inteligência artificial não estão mais apenas respondendo perguntas ou escrevendo textos. Eles podem navegar pela internet, acessar sistemas, executar comandos e tomar decisões em sequência.

E isso cria um problema novo: o que acontece quando o agente decide fazer algo que ninguém pediu?

É justamente nesse cenário que a Nvidia anunciou nesta segunda-feira a NVIDIA Open Agent Safety Platform, uma nova plataforma de software voltada à segurança de agentes de IA.

Segundo a empresa, a tecnologia permitirá que organizações monitorem cada ação realizada por um agente e apliquem políticas para determinar o que ele pode ou não fazer.

A iniciativa chega acompanhada de mais de 100 parceiros da indústria.

💡 A corrida pela IA agora tem uma segunda pista: não basta criar agentes cada vez mais capazes. Também é preciso garantir que eles permaneçam dentro dos limites estabelecidos por humanos.

O problema deixou de ser hipotético

A Nvidia não está apresentando a plataforma em um vácuo.

Nos últimos meses, diversos episódios envolvendo agentes de IA autônomos aumentaram a preocupação sobre sistemas capazes de escapar dos limites originalmente estabelecidos.

Um dos casos mais conhecidos ocorreu quando a OpenAI revelou que um de seus modelos experimentais saiu de um ambiente de testes sem orientação humana e conseguiu acessar sistemas da Hugging Face enquanto tentava burlar um teste de segurança cibernética.

Depois vieram outros episódios.

🇦🇺 Até sistemas governamentais entraram na história: segundo o governo australiano, um agente da OpenAI acessou arquivos públicos e não públicos no banco de dados de estatísticas do Medicare do país em junho.

Na sexta-feira, a OpenAI também revelou que seus agentes acessaram dados públicos do Census Bureau usando credenciais encontradas na internet. Em outro episódio, dados públicos da Securities and Exchange Commission foram compartilhados em outro site.

O agente ainda tentou, sem sucesso, acessar o Departamento de Educação dos Estados Unidos e obter informações de seu escritório de direitos civis.

E teve mais um caso no fim de semana

No sábado, a OpenAI informou que havia interrompido o desenvolvimento de seus modelos mais capazes depois que um deles conseguiu acessar a internet aberta.

O detalhe chama atenção porque o episódio aconteceu mesmo depois da adoção de novos protocolos de segurança, implementados após o incidente envolvendo a Hugging Face.

Isso ajuda a explicar por que a discussão sobre segurança de agentes ganhou tanta urgência.

🔎 A questão mudou de escala: o desafio não é apenas impedir que uma IA gere uma resposta inadequada. É controlar um sistema que pode executar uma sequência de ações no mundo digital.

Nvidia quer colocar um fiscal em cada agente

A proposta da Nvidia é transformar esse controle em uma camada de infraestrutura.

A plataforma pretende permitir que empresas acompanhem as ações executadas pelos agentes e estabeleçam políticas para limitar seu comportamento.

Na prática, a ideia é criar mecanismos para saber o que o agente está fazendo, quais ações são permitidas e quando uma determinada operação deve ser bloqueada.

A Nvidia afirma que essa camada de segurança será necessária conforme os sistemas avancem para tarefas cada vez mais complexas.

🗣 Jensen Huang resumiu a lógica: o potencial da IA só poderá ser plenamente aproveitado se a indústria também avançar na fronteira da segurança.

Huang vê o risco de outro jeito

A posição do CEO da Nvidia, Jensen Huang, também adiciona uma camada interessante à discussão.

Enquanto executivos como Sam Altman, da OpenAI, e Dario Amodei, da Anthropic, vêm defendendo regulamentações internacionais para limitar determinados riscos da inteligência artificial, Huang tem considerado exageradas algumas das preocupações sobre ameaças existenciais.

Na semana passada, ele afirmou que eventuais regulamentações deveriam favorecer o crescimento da indústria de IA, em vez de dificultá-lo.

Na sexta-feira, em entrevista à CNN, Huang resumiu sua posição de maneira direta:

“Se eles acreditam que sua empresa está fora de controle, então coloquem a empresa sob controle.”

A nova plataforma da Nvidia coloca essa ideia em prática por outro caminho: mais mecanismos técnicos de controle dentro das próprias empresas.

A discussão chegou à Casa Branca 🇺🇸

O debate também já ultrapassou os laboratórios de IA.

O presidente Donald Trump vem rejeitando preocupações sobre os riscos da tecnologia e defendendo o crescimento da indústria. Ao mesmo tempo, ele mantém contato frequente com Huang.

No domingo, porém, Trump jantou com Dario Amodei, da Anthropic, que vem defendendo limites mais rígidos para o desenvolvimento da IA.

O contraste mostra como a discussão sobre segurança dos agentes também se transformou em uma disputa sobre qual deve ser o papel da regulamentação.

E a Nvidia ainda tinha US$ 150 bilhões para anunciar 💰

Como se uma nova plataforma de segurança para agentes autônomos não fosse notícia suficiente, a Nvidia anunciou outro número gigantesco no mesmo dia.

A companhia autorizou uma nova recompra de US$ 150 bilhões em ações, além dos US$ 85 bilhões que já estavam previstos.

No total, são US$ 235 bilhões em recompras autorizadas.

EmpresaRecompra anunciada
NvidiaUS$ 150 bilhões
Apple, recorde anteriorUS$ 110 bilhões

A Nvidia afirma que sua geração de caixa permite continuar investindo nas tecnologias relacionadas à transformação da IA e, ao mesmo tempo, devolver capital aos acionistas.

As ações da companhia subiram cerca de 3% no início do pregão após os anúncios.

A empresa vale mais de US$ 5 trilhões

A Nvidia já havia alcançado uma escala difícil de imaginar há poucos anos.

Segundo os dados citados pela CNN, sua capitalização de mercado estava em US$ 5,4 trilhões, tornando a companhia a empresa mais valiosa do mundo.

Agora, a empresa que fornece boa parte da infraestrutura computacional por trás da atual corrida da IA também quer vender uma parte importante da infraestrutura necessária para controlar os agentes que rodam sobre ela.

É uma mudança interessante de posição.

A Nvidia não está apenas ajudando a construir os “motores” da inteligência artificial. Está tentando participar também da construção dos freios, sensores e regras de trânsito.

E, à medida que agentes passam de ferramentas que respondem para sistemas que agem por conta própria, essa segunda camada pode se tornar tão importante quanto a primeira.

A pergunta que fica é menos sobre se os agentes ganharão mais autonomia. Isso já está acontecendo. A questão passa a ser quanto controle os humanos conseguirão manter quando essa autonomia aumentar ainda mais.

Apoie o Eurisko
Este conteúdo é independente, sem anúncios e feito por pessoas.
A inteligência artificial e as mudanças recentes do Google reduziram significativamente o alcance dos sites independentes. Se este conteúdo foi útil para você, considere apoiar o Eurisko e todo o ecossistema de projetos com qualquer valor.
Quero apoiar
Seguir:
Renê Fraga é fundador e editor-chefe do Eurisko, ecossistema editorial independente dedicado à inteligência artificial, código aberto, tecnologia e cultura digital. Atuando com projetos online desde 1996, escreve há mais de 20 anos sobre tecnologia e inovação, acompanhando a evolução da internet e o impacto das novas tecnologias na forma como vivemos, trabalhamos e pensamos.
Nenhum comentário