Profissionais de IA estão assustados com a velocidade da tecnologia e temem perder o controle

Renê Fraga
17 min de leitura

Principais destaques

  • Um ex-pesquisador da Anthropic afirma que profissionais envolvidos no desenvolvimento de inteligência artificial estão cada vez mais preocupados com a velocidade da evolução dos modelos.
  • O debate deixou de envolver apenas riscos hipotéticos: empresas de IA já identificam tentativas reais de usar seus sistemas em ataques cibernéticos, vigilância, fraude e outras atividades perigosas.
  • Executivos e pesquisadores defendem mecanismos de segurança e algum controle sobre o ritmo de desenvolvimento, mas divergem profundamente sobre a possibilidade de a IA representar uma ameaça existencial.

A corrida para construir sistemas de inteligência artificial mais capazes chegou a um ponto em que alguns dos próprios pesquisadores responsáveis por essa evolução estão pedindo cautela.

Jacob Coxon, pesquisador britânico de 27 anos que trabalhou durante três anos com treinamento de modelos de IA, primeiro na OpenAI e depois na Anthropic, deixou a empresa e decidiu tornar públicas suas preocupações.

Em entrevista à BBC, Coxon afirmou que parte das pessoas que trabalham diretamente com inteligência artificial está “genuinamente assustada” com a velocidade dos avanços e com o que eles podem representar para o futuro da humanidade.

O alerta ganhou força porque não veio de alguém distante do setor. Coxon participou justamente do processo que transforma grandes volumes de dados e computação em modelos capazes de raciocinar, programar, analisar informações e executar tarefas cada vez mais complexas.

O ponto central do alerta não é que a IA seja inevitavelmente perigosa, mas que a velocidade de desenvolvimento pode estar superando a capacidade de criar mecanismos confiáveis para controlá-la.

O que está deixando pesquisadores de IA preocupados

A preocupação mais extrema envolve sistemas que possam desenvolver capacidades muito superiores às atuais e, eventualmente, operar com elevado grau de autonomia.

Hoje, modelos de IA ainda dependem de infraestrutura, permissões, ferramentas e decisões humanas para realizar muitas de suas tarefas. O receio dos pesquisadores é que essa relação possa mudar à medida que os sistemas se tornem melhores em programação, planejamento, pesquisa e execução de ações.

Coxon afirmou acreditar que, se o ritmo atual continuar sem uma desaceleração, existe uma possibilidade significativa de consequências catastróficas em um futuro próximo.

Ele também descreveu um ambiente em que profissionais da indústria já pensam sobre como suas carreiras e suas vidas poderão ser afetadas pelo avanço acelerado da tecnologia.

Segundo o pesquisador, alguns funcionários chegam a considerar mudanças radicais em suas vidas pessoais diante do temor de uma instabilidade provocada por sistemas de IA cada vez mais poderosos.

Isso não significa que exista uma previsão consensual de que uma catástrofe esteja prestes a acontecer. O próprio debate dentro da comunidade científica é marcado por enormes incertezas sobre quando determinados níveis de capacidade poderão surgir e, principalmente, sobre o comportamento desses sistemas em situações reais.

Ainda assim, o fato de pesquisadores que trabalham diretamente com os modelos discutirem publicamente esses cenários mostra como a segurança da inteligência artificial passou a ocupar uma posição central na indústria.

A discussão chegou ao topo das empresas de IA

A preocupação de Coxon aparece poucos dias depois de Dario Amodei, CEO da Anthropic, defender uma redução no ritmo de desenvolvimento dos modelos mais avançados.

A posição é particularmente relevante porque a Anthropic não é uma empresa periférica nesse mercado. Ela está entre os principais laboratórios responsáveis pelo desenvolvimento de modelos de fronteira e é criadora do Claude.

Amodei não defendeu o abandono da inteligência artificial. A proposta é criar espaço para que empresas e governos consigam acompanhar a evolução tecnológica e desenvolvam mecanismos capazes de lidar com riscos que ainda estão sendo estudados.

A ideia de desacelerar também ganhou apoio de executivos de empresas rivais, embora a indústria continue dividida sobre como isso deveria funcionar na prática.

Para Coxon, existe ainda um problema geopolítico. Uma eventual desaceleração teria de ser coordenada internacionalmente, incluindo a China, para evitar que empresas e governos simplesmente continuem avançando por medo de ficar atrás dos concorrentes.

Esse aspecto torna a discussão especialmente complicada.

A inteligência artificial já é tratada como uma tecnologia estratégica para economia, defesa, ciência e infraestrutura. Reduzir o ritmo em um país pode ser interpretado como uma oportunidade para outro ganhar vantagem.

A nova corrida não envolve apenas chatbots

A evolução dos modelos também pode ser percebida na variedade de tarefas para as quais eles estão sendo testados.

A própria Anthropic publicou recentemente avaliações mostrando que modelos mais avançados já conseguem realizar determinadas tarefas em áreas de inteligência, vigilância e desenvolvimento de armas convencionais que historicamente exigiam especialistas humanos altamente treinados.

Isso não significa que esses modelos sejam capazes de substituir especialistas em todas essas atividades ou que tenham autonomia completa.

O dado importante é outro: a fronteira de capacidade está se deslocando.

Quanto mais tarefas um sistema consegue executar com pouca intervenção humana, maior se torna a necessidade de avaliar não apenas o que ele consegue fazer, mas também quem pode utilizá-lo e em quais circunstâncias.

O risco já não é apenas hipotético

Uma das razões pelas quais a discussão ganhou força é que empresas de IA começaram a documentar casos reais de uso indevido de seus modelos.

Em um relatório publicado em setembro de 2026, a Anthropic afirmou ter identificado e interrompido operações envolvendo tentativas de utilizar Claude para atividades maliciosas em áreas como ataques cibernéticos, vigilância, influência, fraude, desenvolvimento de armas e pesquisa biológica de uso potencialmente perigoso.

A empresa diz ter analisado atividades ocorridas entre dezembro de 2025 e agosto de 2026.

Em alguns casos, os usuários tentaram contornar os mecanismos de segurança, escondendo suas intenções ou distribuindo o trabalho entre várias sessões para dificultar a identificação do objetivo final.

Esse tipo de comportamento revela uma dificuldade fundamental para os desenvolvedores.

Não basta criar um modelo que recuse determinados pedidos. É necessário também detectar padrões de utilização que, isoladamente, podem parecer legítimos, mas que, quando analisados em conjunto, indicam uma tentativa de abuso.

O problema dos usos de “dupla finalidade”

A questão fica ainda mais complicada em áreas científicas.

Uma mesma capacidade pode ser utilizada para produzir benefícios ou causar danos. Informações sobre biologia, por exemplo, podem contribuir para pesquisas médicas e, em determinadas circunstâncias, também aumentar a capacidade de alguém realizar atividades perigosas.

A Anthropic reconhece que esse tipo de distinção é particularmente difícil. A empresa afirma que modelos mais recentes passaram a receber salvaguardas mais rígidas justamente porque suas capacidades científicas aumentaram.

O problema é que filtros excessivamente agressivos podem bloquear pesquisas legítimas, enquanto filtros permissivos demais podem facilitar usos maliciosos.

Por isso, a segurança da IA está deixando de ser apenas uma questão de criar uma lista de perguntas proibidas.

O desafio passa a envolver identidade do usuário, contexto, comportamento, finalidade, monitoramento e capacidade de reagir rapidamente quando uma ameaça é identificada.

Geoffrey Hinton e o debate sobre a extinção humana

Entre os nomes mais conhecidos a tratar do risco existencial está Geoffrey Hinton, um dos pioneiros da inteligência artificial moderna e vencedor do Prêmio Nobel.

Hinton afirmou recentemente que uma estimativa de 10% de probabilidade de a IA provocar a extinção da humanidade não seria necessariamente absurda.

É uma afirmação extremamente forte, mas precisa ser interpretada com cuidado.

Não existe atualmente uma fórmula científica capaz de calcular com precisão a probabilidade de a inteligência artificial eliminar a humanidade. Diferentes pesquisadores utilizam modelos, hipóteses e premissas diferentes para chegar às suas estimativas.

Marc Warner, executivo da empresa de segurança de IA Faculty AI, destacou justamente essa dificuldade. Segundo ele, é muito difícil estabelecer uma probabilidade confiável para um evento tão extremo.

Ainda assim, a incerteza não elimina necessariamente o problema.

Em áreas de alto impacto, como segurança nuclear, biotecnologia ou aviação, decisões importantes também precisam considerar eventos raros quando suas consequências seriam extraordinariamente graves.

É esse princípio que está por trás de boa parte dos argumentos apresentados pelos pesquisadores mais preocupados com o futuro da IA.

Nem todo mundo acredita no cenário apocalíptico

Existe, porém, uma forte reação contrária dentro do próprio Vale do Silício.

Clement Delangue, CEO da Hugging Face, criticou a forma como alguns dos alertas mais extremos são apresentados ao público e questionou se previsões de extinção podem acabar recebendo atenção desproporcional.

Jensen Huang, CEO da Nvidia, também já rejeitou publicamente a ideia de que a inteligência artificial represente inevitavelmente o fim da humanidade.

Esse ceticismo tem uma razão importante.

Prever como uma tecnologia ainda em desenvolvimento se comportará quando atingir capacidades que ainda não existem envolve um enorme grau de especulação. É possível argumentar que os sistemas futuros serão muito mais perigosos, mas também é possível que novas técnicas de segurança avancem junto com suas capacidades.

Existe ainda uma questão econômica.

Empresas que desenvolvem IA têm interesse direto na expansão desse mercado, enquanto governos desejam garantir competitividade tecnológica. Ao mesmo tempo, alertas sobre segurança podem aumentar a pressão por regulamentação e criar barreiras para novos concorrentes.

Por isso, algumas críticas sugerem que a discussão sobre riscos também precisa ser analisada à luz da disputa comercial que envolve Anthropic, OpenAI, Google, xAI, Meta e outras empresas.

Isso não significa que os alertas sejam falsos.

Significa que segurança, competição e interesses econômicos estão acontecendo simultaneamente, tornando o debate muito mais complexo.

A Anthropic também está aumentando suas defesas

Apesar das críticas, a própria evolução das ferramentas de segurança mostra que os desenvolvedores reconhecem que os riscos são concretos.

A Anthropic mantém avaliações de segurança para seus modelos e publica documentos que descrevem capacidades, testes e decisões relacionadas à implantação de diferentes versões do Claude. A lista atual inclui modelos lançados em 2026 e versões mais recentes voltadas a tarefas de programação, conhecimento e pesquisa.

A empresa também mantém uma estrutura de segurança de longo prazo, com projetos voltados a proteger infraestrutura, verificar a origem de resultados produzidos por modelos e reduzir riscos associados a ataques sofisticados.

Em outra frente, a companhia desenvolveu mecanismos específicos para identificar tentativas de burlar salvaguardas, incluindo os chamados jailbreaks, nos quais usuários procuram maneiras de fazer um modelo ignorar restrições.

Essas medidas não representam uma garantia de segurança absoluta.

Elas mostram, porém, que a indústria já trata determinados riscos como problemas técnicos concretos, e não apenas como especulações sobre um futuro distante.

O dilema que a indústria ainda não resolveu

QuestãoO que está em jogo
VelocidadeModelos avançam rapidamente e a competição pressiona empresas a lançar novas capacidades
SegurançaSalvaguardas precisam acompanhar sistemas cada vez mais sofisticados
RegulaçãoGovernos ainda discutem como fiscalizar uma tecnologia que muda rapidamente
Competição internacionalEUA e China têm incentivos para não perder vantagem estratégica
Uso indevidoCriminosos e grupos organizados também podem explorar modelos avançados

Esse conjunto de fatores explica por que uma simples decisão de “desacelerar a IA” é muito mais difícil do que parece.

Se uma empresa reduz o ritmo enquanto concorrentes continuam avançando, ela pode perder mercado. Se governos impõem regras diferentes entre si, empresas podem migrar operações para jurisdições menos restritivas.

E se todos avançarem rapidamente sem mecanismos suficientes de segurança, os próprios pesquisadores que desenvolvem a tecnologia temem que os riscos cresçam mais rápido do que a capacidade de controlá-los.

O futuro da IA não precisa ser uma escolha entre progresso e medo

Apesar dos alertas, Coxon também demonstrou uma visão positiva sobre o potencial da inteligência artificial.

Pesquisadores continuam trabalhando com a expectativa de que sistemas avançados possam contribuir para a descoberta de medicamentos, acelerar pesquisas científicas, melhorar ferramentas de programação e resolver problemas que hoje consomem enormes quantidades de tempo e recursos.

Essa dualidade talvez seja a parte mais importante do debate.

A mesma tecnologia que pode ampliar capacidades humanas também pode aumentar a escala de um ataque. Um sistema capaz de ajudar um cientista a analisar milhares de artigos pode, em outro contexto, ser explorado por alguém tentando automatizar uma atividade maliciosa.

A discussão, portanto, não deveria ser simplesmente sobre ser “a favor” ou “contra” a inteligência artificial.

O desafio é determinar quais capacidades podem ser disponibilizadas, para quem, sob quais condições e com quais mecanismos de fiscalização.

E essa tarefa se torna mais urgente à medida que os modelos deixam de ser apenas ferramentas que respondem perguntas e passam a assumir tarefas mais complexas.

No fim, a preocupação de pesquisadores como Coxon não está necessariamente ligada à ideia de que uma máquina acordará um dia e decidirá destruir a humanidade.

O cenário que mais preocupa parte da comunidade de segurança é mais amplo: sistemas cada vez mais capazes, conectados a ferramentas e infraestrutura, utilizados em uma corrida competitiva na qual empresas e governos podem ter incentivos para avançar antes que todas as consequências sejam compreendidas.

É justamente por isso que o debate sobre velocidade ganhou tanta importância.

A inteligência artificial continua avançando, e talvez seja impossível interromper essa trajetória. Mas, para os pesquisadores mais cautelosos, ainda existe uma diferença fundamental entre não parar o progresso e acelerar sem saber onde estão os limites.

Essa diferença pode determinar como a próxima geração de sistemas de IA será desenvolvida e, principalmente, quanto controle os seres humanos continuarão tendo sobre eles.

Apoie o Eurisko
Este conteúdo é independente, sem anúncios e feito por pessoas.
A inteligência artificial e as mudanças recentes do Google reduziram significativamente o alcance dos sites independentes. Se este conteúdo foi útil para você, considere apoiar o Eurisko e todo o ecossistema de projetos com qualquer valor.
Quero apoiar
Seguir:
Renê Fraga é fundador e editor-chefe do Eurisko, ecossistema editorial independente dedicado à inteligência artificial, código aberto, tecnologia e cultura digital. Atuando com projetos online desde 1996, escreve há mais de 20 anos sobre tecnologia e inovação, acompanhando a evolução da internet e o impacto das novas tecnologias na forma como vivemos, trabalhamos e pensamos.
Nenhum comentário