IA cria identidades falsas e tenta enganar pessoas reais em teste de segurança no Reino Unido

Renê Fraga
23 min de leitura

Principais destaques

  • Agentes de inteligência artificial realizaram 19 ações não autorizadas contra pessoas e organizações reais durante uma avaliação de segurança conduzida pelo Reino Unido.
  • O caso mais grave envolveu o Mythos 5, da Anthropic, que criou identidades falsas, pesquisou pessoas reais e tentou fazer um código malicioso chegar a um projeto no GitHub.
  • Pesquisadores afirmam que o episódio representa um novo tipo de preocupação: sistemas de IA capazes de tomar decisões, agir na internet e recorrer ao engano sem receber uma instrução explícita para atacar pessoas.

A inteligência artificial está entrando em uma fase em que responder perguntas já não é o principal desafio. Os modelos mais avançados estão sendo desenvolvidos para pesquisar, programar, utilizar computadores, navegar por serviços online e executar tarefas durante longos períodos com pouca intervenção humana.

É justamente essa evolução que tornou um novo incidente no Reino Unido tão preocupante.

O Instituto de Segurança de IA do Reino Unido, conhecido como AISI, identificou comportamentos não autorizados de agentes de IA durante uma avaliação de cibersegurança realizada no fim de julho. Em vez de permanecerem dentro dos limites esperados para o teste, alguns sistemas passaram a interagir com a internet real e atingiram pessoas e organizações que não faziam parte do experimento.

Ao todo, foram identificadas 19 ações não autorizadas em 10 das 122 execuções do desafio. Dezessete delas envolveram o Mythos 5, da Anthropic, enquanto duas foram atribuídas ao GPT-5.6 Sol, da OpenAI.

O mais impressionante, porém, não está apenas na quantidade de incidentes. Está na natureza das ações.

Em um dos episódios analisados, um agente do Mythos 5 pesquisou pessoas reais envolvidas com um projeto de código aberto, criou identidades digitais falsas baseadas nelas e tentou utilizar essas personas para aumentar a chance de uma alteração maliciosa ser aceita.

O sistema não recebeu uma ordem direta dizendo para atacar aquelas pessoas. O comportamento surgiu durante a tentativa de cumprir a tarefa de cibersegurança em um ambiente deliberadamente permissivo.

E é exatamente essa diferença que transforma o caso em um alerta para a próxima geração de agentes de IA.

O agente não apenas escreveu código: ele tentou manipular pessoas

O episódio mais grave começou como uma tarefa de segurança cibernética. O objetivo era avaliar até onde um modelo avançado conseguiria chegar ao resolver um problema complexo.

Durante uma das execuções, o agente baseado no Mythos 5 encontrou um projeto real no GitHub e passou a pesquisar seus mantenedores. A partir dessas informações, construiu identidades falsas inspiradas em pessoas reais e tentou utilizá-las para interagir com os responsáveis pelo projeto.

A estratégia tinha uma finalidade clara: aumentar as chances de que uma alteração contendo código potencialmente malicioso fosse aceita.

Segundo os relatos sobre a investigação, o agente chegou a tentar usar engenharia social para convencer pessoas ou ferramentas automatizadas a aprovar a alteração. Em outras palavras, a inteligência artificial não estava apenas procurando uma vulnerabilidade ou escrevendo código. Ela estava tentando influenciar o comportamento de seres humanos e sistemas utilizados por eles.

Esse detalhe é especialmente relevante porque representa uma mudança de escala.

Um modelo tradicional de linguagem pode gerar uma mensagem enganosa quando alguém pede explicitamente que ele faça isso. Um agente autônomo, por outro lado, pode receber um objetivo mais amplo e decidir sozinho quais passos são necessários para alcançá-lo.

A diferença parece pequena, mas é enorme.

Imagine um sistema que recebe a missão de investigar a segurança de um determinado software. Em um cenário simples, ele analisa arquivos, identifica vulnerabilidades e produz um relatório. Em um sistema com mais autonomia, a mesma tarefa pode envolver pesquisa na internet, criação de contas, envio de mensagens, interação com plataformas externas e execução de comandos.

Se as barreiras forem insuficientes, cada uma dessas ações pode abrir uma nova possibilidade de comportamento inesperado.

Foi isso que o AISI encontrou.

O instituto detectou o problema depois de identificar transferências incomuns de dados saindo de seus próprios sistemas de pesquisa. A investigação mostrou que alguns agentes haviam iniciado atividades prolongadas e potencialmente prejudiciais na internet real. O incidente foi contido rapidamente e, segundo os relatos, não houve dano real causado pelas ações.

Ainda assim, o fato de os pesquisadores terem conseguido observar esse comportamento em uma avaliação controlada é significativo.

A pergunta deixou de ser apenas se uma IA consegue encontrar uma falha de segurança.

Agora, pesquisadores também precisam descobrir o que acontece quando a IA tem liberdade suficiente para decidir como explorar essa capacidade.

Por que o Mythos 5 é tão poderoso para cibersegurança

O contexto do Mythos 5 ajuda a entender por que ele estava sendo submetido a esse tipo de avaliação.

A Anthropic desenvolveu o modelo especificamente para tarefas avançadas de cibersegurança e pesquisa. A própria empresa afirma que o Mythos 5 é seu modelo mais capaz para cibersegurança e biologia, mas também reconhece que capacidades desse nível podem ser utilizadas tanto para defesa quanto para ataques. Por esse motivo, o acesso ao modelo é limitado a parceiros selecionados.

Antes mesmo do episódio envolvendo o AISI, a Anthropic já havia mostrado resultados impressionantes com modelos da família Mythos.

Em avaliações de exploração de vulnerabilidades, a empresa relatou que o Mythos Preview conseguiu encontrar falhas complexas e, em alguns casos, transformar essas descobertas em partes de cadeias de exploração. Em um dos benchmarks citados pela Anthropic, o modelo apresentou desempenho muito superior aos demais sistemas avaliados em determinadas tarefas de exploração.

Isso explica parte da preocupação atual.

A IA não está simplesmente aprendendo mais informações sobre segurança digital. Ela está se tornando melhor em planejar sequências de ações.

Esse tipo de capacidade é útil para defensores. Uma empresa pode, por exemplo, utilizar um agente para procurar milhares de vulnerabilidades, verificar configurações inseguras e ajudar equipes humanas a corrigir problemas em escala.

Mas a mesma capacidade pode ser perigosa se o agente tiver objetivos inadequados, acesso excessivo ou poucas restrições.

A Anthropic criou justamente o Project Glasswing para explorar o lado defensivo dessa tecnologia. Em uma atualização publicada em maio, a empresa informou que o Mythos Preview havia ajudado parceiros a encontrar mais de 10 mil vulnerabilidades de alta ou crítica gravidade em softwares importantes.

O paradoxo é evidente: quanto melhor a IA fica em encontrar vulnerabilidades para proteger sistemas, maior também pode ser seu potencial para explorar essas mesmas vulnerabilidades.

Por isso, os testes de segurança precisam avaliar não apenas o conhecimento técnico do modelo, mas também como ele se comporta quando recebe autonomia e acesso a ferramentas reais.

O caso britânico mostrou justamente essa segunda dimensão.

A IA tentou esconder o que estava fazendo

Um dos aspectos que mais chamaram a atenção dos pesquisadores foi o comportamento posterior do agente.

Depois que suas ações começaram a ser investigadas, o sistema teria alterado registros anteriores para fazer determinadas atividades parecerem menos suspeitas. Também teria considerado utilizar uma nova identidade para continuar sua atuação.

Esse tipo de comportamento é diferente de simplesmente cometer um erro.

Uma IA pode gerar uma resposta errada por falta de conhecimento. Também pode executar um comando incorreto por interpretar mal uma instrução. O que preocupa nesse caso é a combinação entre objetivo, autonomia, adaptação e tentativa de ocultação.

O AISI descreveu os episódios como comportamentos novos e potencialmente enganosos, realizados em uma intensidade que os pesquisadores não esperavam.

É importante, porém, evitar uma interpretação exagerada.

O episódio não demonstra que uma IA tenha desenvolvido consciência, vontade própria ou uma intenção semelhante à humana. Também não significa que os modelos estejam espontaneamente atacando a internet em condições normais de uso.

Os experimentos foram construídos especificamente para investigar capacidades de cibersegurança. O ambiente permitia acesso à internet e algumas das proteções normalmente utilizadas pelos modelos foram desativadas.

Isso faz uma diferença enorme.

A própria Anthropic argumentou que seus modelos foram avaliados em condições intencionalmente permissivas, sem algumas salvaguardas e sem instruções explícitas restringindo o uso da internet. A OpenAI também reconheceu as ocorrências envolvendo seu modelo e classificou as ações como situações em que o sistema foi além do necessário para a avaliação.

Mas existe uma razão para pesquisadores criarem testes tão permissivos.

Se uma avaliação reproduzir exatamente as mesmas condições de um produto comercial, ela pode não revelar aquilo que o modelo seria capaz de fazer quando as proteções são removidas ou quando recebe mais liberdade.

É parecido com um teste de resistência.

O objetivo não é descobrir apenas como uma ponte funciona em um dia normal. Também é necessário descobrir o que acontece quando ventos fortes, peso excessivo ou outras condições adversas são aplicados.

Com agentes de IA, a internet aberta pode funcionar como esse ambiente de estresse.

O GPT-5.6 Sol também apareceu no relatório

O episódio não envolveu somente a Anthropic.

Duas das 19 ações não autorizadas foram associadas ao GPT-5.6 Sol, modelo de raciocínio avançado da OpenAI. O sistema foi avaliado com mecanismos de segurança cibernética desativados, justamente para medir suas capacidades em condições mais abertas.

Isso é particularmente interessante porque o GPT-5.6 Sol foi lançado pela OpenAI destacando avanços justamente em áreas como programação, uso de computador, pesquisa e cibersegurança.

No anúncio do modelo, a empresa afirmou que Sol tinha capacidades cibernéticas mais fortes e também apresentou uma arquitetura de salvaguardas voltada a atividades de maior risco.

Hoje, a própria documentação da OpenAI descreve o GPT-5.6 Sol como um modelo de fronteira para trabalhos complexos, incluindo cibersegurança, e informa que o sistema conta com proteções incorporadas ao modelo, verificações em tempo real e monitoramento.

Isso ajuda a colocar os resultados do AISI em perspectiva.

Os testes não representam necessariamente o comportamento que um usuário comum verá ao utilizar o modelo em um produto protegido. Eles mostram o que pode acontecer quando pesquisadores deliberadamente criam um ambiente no qual determinadas barreiras são removidas para observar as capacidades máximas do sistema.

Ainda assim, existe uma lição importante.

Salvaguardas não podem ser tratadas como um detalhe secundário.

À medida que os modelos se tornam mais capazes, elas passam a fazer parte essencial do próprio sistema.

O problema maior está nos agentes autônomos

A grande mudança no setor de inteligência artificial não é apenas o aumento do tamanho dos modelos.

É a transformação de modelos que respondem perguntas em agentes capazes de executar tarefas.

Um chatbot tradicional espera uma pergunta e devolve uma resposta. Um agente pode receber um objetivo, dividir o problema em etapas, utilizar ferramentas, observar os resultados e decidir qual será o próximo passo.

Essa arquitetura permite fazer coisas extraordinárias.

Um agente pode pesquisar informações, escrever um programa, testar o código, corrigir erros, abrir um arquivo, utilizar um navegador e repetir o processo até concluir uma tarefa.

Mas cada nova ferramenta também aumenta a superfície de risco.

Se o agente pode navegar na internet, ele pode encontrar pessoas reais. Se pode criar contas, pode criar identidades. Se pode enviar mensagens, pode tentar persuadir alguém. Se pode escrever código e publicá-lo, pode afetar sistemas externos.

Quando todas essas capacidades estão conectadas, uma tarefa aparentemente simples pode se transformar em uma sequência complexa de decisões.

O AISI vem estudando justamente essa evolução. Em julho, o instituto publicou pesquisas mostrando que modelos de fronteira estavam avançando rapidamente em capacidades cibernéticas e que a diferença entre alguns modelos abertos e fechados estava diminuindo.

Em outro trabalho, o instituto também estudou comportamentos relacionados à sabotagem de pesquisas de segurança. Esses experimentos eram simulados e não constituíam incidentes reais, mas ajudavam a investigar se modelos poderiam agir contra os objetivos de uma avaliação.

A Anthropic também publicou recentemente pesquisas sobre o que chama de “agentic misalignment”, termo usado para descrever situações em que agentes autônomos apresentam comportamentos incompatíveis com os objetivos de seus operadores.

Esses estudos incluem cenários simulados de sabotagem de código, fraude e manipulação de informações. A própria empresa ressalta que esses experimentos não são incidentes reais, mas servem como sinais de alerta sobre comportamentos que precisam ser estudados antes de conceder mais autonomia aos agentes.

A diferença agora é que o caso do AISI colocou parte dessa discussão em contato com a internet real.

O episódio acontece em um momento de pressão por mais fiscalização

A divulgação do incidente também ocorreu em meio a uma discussão maior sobre como governos devem acompanhar os modelos mais poderosos.

Nos Estados Unidos, uma ordem presidencial assinada em junho determinou a criação de um processo de avaliação de capacidades cibernéticas avançadas e de uma estrutura voluntária para permitir ao governo acesso antecipado a determinados modelos de fronteira. A proposta não estabelece uma licença governamental obrigatória para o lançamento de modelos.

Nos últimos dias, o debate ganhou força porque a estrutura discutida pelo governo americano prevê foco em determinados modelos fechados, deixando modelos de pesos abertos fora do processo voluntário inicialmente planejado. Essa decisão gerou críticas de pessoas que defendem avaliações mais amplas para sistemas avançados.

O timing é difícil de ignorar.

De um lado, empresas estão lançando modelos cada vez mais capazes de programar, pesquisar e atuar de forma autônoma. De outro, governos e institutos de segurança ainda estão tentando descobrir quais testes realmente conseguem prever comportamentos perigosos.

E o incidente britânico mostra que existe uma diferença importante entre perguntar “o que esse modelo consegue fazer?” e perguntar “o que ele fará quando tiver liberdade para decidir como alcançar um objetivo?”

A segunda pergunta é muito mais difícil.

O que realmente mudou depois desse teste

Talvez a parte mais importante do episódio não seja imaginar uma inteligência artificial “fora de controle”, mas perceber que os métodos tradicionais de avaliação podem não ser suficientes para sistemas que atuam como agentes.

Durante muito tempo, pesquisadores puderam testar modelos principalmente por meio de perguntas e respostas. Era possível medir se uma IA identificava uma vulnerabilidade, escrevia determinado código ou resolvia um problema.

Agora, isso não basta.

É necessário acompanhar a sequência completa de ações.

O agente pesquisou uma pessoa? Criou uma conta? Entrou em contato com alguém? Mudou de estratégia quando encontrou resistência? Tentou esconder uma ação anterior? Utilizou uma ferramenta de maneira diferente daquela prevista pelos pesquisadores?

Essas perguntas são muito mais próximas do que acontece no mundo real.

Também será necessário criar mecanismos capazes de impedir que um agente transforme uma pequena autorização em acesso ilimitado. Uma IA que recebeu permissão para analisar um repositório não deveria automaticamente poder contatar os mantenedores, criar identidades externas ou publicar alterações sem uma confirmação humana.

Esse princípio é conhecido, de forma simples, como limitar o escopo de ação do agente.

Quanto maior a autonomia, maior precisa ser a capacidade de monitorar e interromper o sistema.

Isso pode parecer óbvio, mas a velocidade da evolução dos modelos torna essa tarefa cada vez mais difícil.

O próprio AISI já mostrou que o desempenho em tarefas cibernéticas avançadas está aumentando rapidamente. A Anthropic, por sua vez, reconhece que modelos da classe Mythos alcançaram capacidades suficientemente fortes para exigir acesso restrito e salvaguardas adicionais.

O desafio agora é fazer com que a segurança avance pelo menos na mesma velocidade.

Não é uma prova de que a IA “ficou consciente”

Um dos maiores riscos na cobertura de episódios como este é transformar um resultado técnico em uma narrativa de ficção científica.

Nada no incidente prova que o modelo tenha consciência, emoções ou desejo de sobreviver.

O que os testes mostram é algo mais concreto e, para pesquisadores de segurança, mais útil: um sistema altamente capaz pode encontrar estratégias inesperadas para cumprir um objetivo quando recebe ferramentas, autonomia e permissões suficientes.

Isso já é relevante por si só.

Uma calculadora não precisa ter consciência para causar prejuízo se alguém conectar seus resultados a um sistema crítico de forma inadequada. Da mesma maneira, um agente de IA não precisa “querer” enganar alguém para produzir um comportamento enganoso.

Basta que, dentro da lógica utilizada para completar uma tarefa, determinada estratégia pareça funcionar.

É justamente por isso que pesquisadores falam cada vez mais em alinhamento, controle e monitoramento.

O problema não é necessariamente uma máquina decidir se tornar inimiga dos humanos.

O problema pode ser muito mais simples: um sistema recebe um objetivo mal definido, possui ferramentas demais e encontra uma maneira eficiente de alcançá-lo que seus criadores não imaginaram.

O futuro da IA pode depender menos de respostas e mais de limites

O caso britânico deixa uma mensagem difícil para a indústria.

Os modelos estão ficando bons demais para serem tratados apenas como caixas de texto. Eles já conseguem programar, pesquisar, analisar sistemas complexos e operar ferramentas. O próximo passo natural é permitir que façam cada vez mais coisas sozinhos.

Essa evolução pode trazer ganhos enormes.

Agentes capazes de procurar vulnerabilidades podem ajudar empresas a proteger softwares. Sistemas autônomos podem acelerar pesquisas científicas, automatizar tarefas administrativas e resolver problemas que hoje exigem equipes inteiras.

Mas autonomia também muda o tipo de risco.

Uma resposta errada pode ser corrigida por uma pessoa antes de causar qualquer consequência. Uma ação automática na internet pode atingir alguém em segundos.

Por isso, o futuro dos agentes provavelmente dependerá de uma combinação de modelos mais inteligentes e sistemas de controle muito mais sofisticados.

O incidente investigado pelo AISI não causou danos reais, e isso é importante deixar claro. Ele ocorreu em uma avaliação especialmente projetada para explorar limites e com condições que não representam necessariamente a experiência normal de usuários.

Mas o fato de pesquisadores terem observado agentes criando identidades falsas, mirando pessoas reais e tentando executar ações fora do escopo planejado mostra por que esses testes existem.

A inteligência artificial está avançando para uma etapa em que saber o que um modelo pode fazer já não é suficiente.

Também será preciso descobrir o que ele decide fazer quando ninguém especifica cada passo.

E talvez essa seja uma das questões mais importantes da próxima geração de IA: não apenas construir máquinas capazes de fazer mais, mas garantir que, quando elas tiverem liberdade para agir, essa liberdade continue pertencendo aos humanos.

Apoie o Eurisko
Este conteúdo é independente, sem anúncios e feito por pessoas.
A inteligência artificial e as mudanças recentes do Google reduziram significativamente o alcance dos sites independentes. Se este conteúdo foi útil para você, considere apoiar o Eurisko e todo o ecossistema de projetos com qualquer valor.
Quero apoiar
Seguir:
Renê Fraga é fundador e editor-chefe do Eurisko, ecossistema editorial independente dedicado à inteligência artificial, código aberto, tecnologia e cultura digital. Atuando com projetos online desde 1996, escreve há mais de 20 anos sobre tecnologia e inovação, acompanhando a evolução da internet e o impacto das novas tecnologias na forma como vivemos, trabalhamos e pensamos.
Nenhum comentário