Principais destaques
- Máquinas podem errar em momentos críticos: episódios históricos mostram como falhas tecnológicas quase provocaram catástrofes nucleares e outros desastres.
- A experiência prática impõe limites à IA: o caso de uma seita japonesa e tentativas de ataques biológicos mostram que conhecimento teórico não basta para executar planos complexos.
- A supervisão humana continua decisiva: dos sistemas de alerta nuclear às redes de abastecimento de água, pessoas precisam identificar erros que máquinas podem não reconhecer.
Em setembro de 1983, um alarme disparou em um bunker soviético. Diante do tenente-coronel Stanislav Petrov, uma tela vermelha indicava que os Estados Unidos haviam lançado um míssil nuclear contra a União Soviética.
Depois, vieram outros quatro alertas.
O sistema de vigilância classificava a informação como altamente confiável. Petrov tinha poucos minutos para decidir o que fazer. Sua função era comunicar possíveis lançamentos às autoridades militares e políticas, que poderiam iniciar uma escalada nuclear.
Mas ele desconfiou da máquina.
Não havia ataque algum.
A decisão de Petrov é frequentemente lembrada como um exemplo de julgamento humano diante de uma falha tecnológica. Mais de quatro décadas depois, enquanto pesquisadores alertam para cenários extremos envolvendo inteligência artificial, o episódio oferece uma perspectiva importante: sistemas automatizados podem cometer erros graves, mas também precisamos considerar como pessoas os projetam, operam e supervisionam.
☢️ A máquina sinalizou um ataque que nunca aconteceu
Petrov não tinha certeza absoluta de que o alerta era falso. Anos depois, afirmou que estava apenas 50% convencido de ter tomado a decisão correta.
Ainda assim, considerou improvável que os Estados Unidos iniciassem um ataque nuclear com apenas cinco mísseis, sem que outros indicadores confirmassem a ameaça.
Ele decidiu não transmitir o alerta como um ataque confirmado.
O detalhe mais importante: se tivesse tratado a informação do computador como verdade incontestável, poderia ter contribuído para uma reação militar potencialmente catastrófica.
A história não significa que a intuição humana seja sempre superior à tecnologia. Significa que, em situações de alto risco, um sistema de alerta não deve ser confundido com uma confirmação dos fatos.
💡 Uma máquina pode detectar um sinal. Decidir o que esse sinal significa é outra questão.
Essa distinção está no centro de um dos debates mais importantes sobre o uso da inteligência artificial em sistemas críticos: até que ponto devemos permitir que decisões automatizadas influenciem ações irreversíveis?
🧬 Uma seita tinha cientistas, laboratórios e recursos. Mesmo assim, fracassou
No início dos anos 1990, a organização japonesa Aum Shinrikyo tentou desenvolver armas biológicas. O grupo contava com cientistas treinados, laboratórios próprios e equipamentos para realizar experimentos.
A organização tentou usar agentes biológicos contra seis alvos, mas não provocou vítimas nessas tentativas, segundo um estudo do Center for a New American Security (CNAS).
Um dos responsáveis pelo programa, Seiichi Endo, havia realizado pesquisas genéticas em um centro de pesquisa viral da Universidade de Kyoto.
O grupo chegou a construir fermentadores e executar dezenas de lotes de culturas. Ainda assim, não conseguiu transformar seus esforços em uma arma biológica eficaz.
O episódio de antraz em Tóquio
Em julho de 1993, a seita pulverizou material contendo antraz a partir do edifício de oito andares que abrigava sua sede em Tóquio.
Ninguém adoeceu.
Uma análise posterior identificou a cepa Sterne 34F2, utilizada na vacinação de animais. Essa cepa é considerada não virulenta para pessoas saudáveis nas condições relevantes para o episódio.
Também havia problemas físicos no equipamento: o dispositivo de pulverização entupia, o líquido vazava e a suspensão não se dispersava adequadamente.
O caso ilustra uma diferença importante entre conhecer um processo e conseguir executá-lo no mundo real.
📌 A barreira não era apenas intelectual: desenvolver materiais biológicos e trabalhar com eles envolve prática experimental, infraestrutura, controle de qualidade e conhecimento especializado.
Pesquisadores do CNAS argumentaram que essas dificuldades não desaparecem simplesmente porque alguém tem acesso a instruções escritas.
Isso também ajuda a contextualizar os temores de que um chatbot, por si só, permita que qualquer pessoa execute tarefas biológicas altamente complexas.
🤖 A IA consegue transformar conhecimento em capacidade prática?
A preocupação com sistemas avançados de inteligência artificial não é absurda. Ferramentas capazes de organizar informações, escrever códigos e auxiliar pesquisas podem reduzir barreiras de conhecimento em diversas áreas.
Mas há uma diferença entre ajudar alguém a compreender um processo e permitir que essa pessoa o execute com sucesso.
Um estudo da RAND, divulgado em janeiro de 2024, examinou se chatbots poderiam ajudar especialistas a planejar ataques biológicos. Os pesquisadores não encontraram diferenças significativas na viabilidade dos planos entre os grupos que receberam assistência de IA e aqueles que não receberam.
Segundo a análise, parte do conteúdo produzido pelos chatbots repetia informações já disponíveis publicamente.
Isso não demonstra que a inteligência artificial seja incapaz de aumentar riscos biológicos. O resultado é mais limitado: naquele experimento, a assistência dos chatbots não produziu um aumento significativo na viabilidade dos planos avaliados.
O que muda quando a IA participa da pesquisa científica?
O avanço da IA na biologia exige atenção adicional. Sistemas capazes de auxiliar no desenho de moléculas e na exploração de grandes espaços de possibilidades podem acelerar etapas da pesquisa.
No exemplo descrito pelo artigo original, pesquisadores utilizaram IA para projetar milhares de genomas virais e sintetizaram 300 projetos. Dezesseis produziram vírus funcionais, capazes de infectar apenas a bactéria E. coli.
Mesmo nesse cenário, o trabalho exigiu que cientistas selecionassem os projetos promissores, sintetizassem os materiais e realizassem testes laboratoriais.
O ponto não é que os riscos sejam inexistentes. É que a capacidade de gerar um projeto, a capacidade de produzi-lo e a capacidade de utilizá-lo para causar danos são coisas distintas.
🚰 O caso da água contaminada que talvez nem tenha sido um ataque
Em fevereiro de 2021, um operador de uma estação de tratamento de água em Oldsmar, na Flórida, percebeu que o cursor do computador estava se movendo pela tela e que a configuração de hidróxido de sódio, também conhecido como soda cáustica, estava sendo elevada.
Em grandes concentrações, a substância pode ser perigosa.
O operador reverteu a alteração em poucos minutos e avisou seu supervisor. O episódio foi inicialmente apresentado pelas autoridades locais como um ataque cibernético.
Onze dias depois, o prefeito Eric Seidel descreveu o caso como uma história de sucesso, destacando que o monitoramento da estação havia funcionado e que os alarmes poderiam ter sinalizado a mudança.
Mas a narrativa ganhou uma reviravolta.
Em março de 2023, o então administrador municipal Al Braithwaite afirmou que o FBI não havia encontrado evidências de uma invasão externa e que o episódio poderia ter sido provocado pelo próprio funcionário, segundo reportagem da emissora americana WFLA.
O FBI declarou que não podia confirmar se o incidente havia começado com uma intrusão direcionada.
⚠️ A ressalva é essencial: não é correto apresentar o caso de Oldsmar como um ataque externo comprovado. A origem da alteração permaneceu contestada.
Ainda assim, o episódio evidencia um problema real: sistemas industriais podem permitir mudanças perigosas, e operadores precisam reconhecer quando algo não está certo.
Outros incidentes mostram que a vulnerabilidade existe
Em janeiro de 2024, hackers teriam acessado o software de controle de um reservatório de água em Muleshoe, no Texas. O reservatório transbordou durante aproximadamente 30 a 45 minutos, até que autoridades desligaram o sistema e passaram a operá-lo manualmente.
O problema nem sempre envolve ataques sofisticados.
Em um alerta de fiscalização, a Agência de Proteção Ambiental dos Estados Unidos (EPA) informou que mais de 70% dos sistemas de água inspecionados desde setembro de 2023 descumpriam requisitos básicos de segurança cibernética.
Entre as falhas estavam senhas padrão que nunca haviam sido alteradas e equipes inteiras compartilhando um único login.
Essas vulnerabilidades podem facilitar invasões e dificultar a identificação de quem realizou determinada ação.
🔎 A lição vai além da inteligência artificial: antes de discutir máquinas capazes de agir de forma autônoma, é preciso corrigir falhas básicas de segurança nos sistemas que já controlam serviços essenciais.
🖥️ Quando a defesa depende de alguém olhando para a tela
A supervisão humana é importante, mas não resolve tudo sozinha.
Um operador pode perceber uma mudança suspeita e interrompê-la. Também pode estar cansado, mal treinado ou sobrecarregado por alertas demais.
Da mesma forma, um sistema automatizado pode detectar uma anomalia em segundos, mas interpretar incorretamente o que está acontecendo.
O desafio, portanto, não é escolher entre pessoas e máquinas. É construir sistemas em que cada parte consiga compensar as limitações da outra.
Isso exige, entre outras medidas:
- Controles de acesso: impedir que pessoas não autorizadas alterem parâmetros críticos.
- Monitoramento independente: evitar que o mesmo sistema comprometido seja responsável por executar e validar uma operação.
- Procedimentos de emergência: permitir a interrupção segura de processos automatizados.
- Treinamento de operadores: preparar equipes para questionar alertas e reconhecer situações anormais.
- Responsabilidade definida: deixar claro quem pode autorizar ações de alto impacto.
Essas medidas se tornam ainda mais importantes quando a IA deixa de apenas produzir respostas e passa a interagir com softwares, equipamentos e sistemas externos.
☢️ Estados Unidos e China estabeleceram um limite para a IA nuclear
Em novembro de 2024, os presidentes Joe Biden e Xi Jinping concordaram que a decisão de empregar armas nucleares deveria permanecer sob controle humano, segundo o comunicado da Casa Branca sobre o encontro realizado em Lima, no Peru.
A declaração representou um compromisso diplomático importante entre as duas potências.
O princípio responde a um risco específico: uma máquina apresentar uma informação incorreta com tanta confiança que leve uma pessoa a tomar uma decisão irreversível sob pressão de tempo.
O então conselheiro de Segurança Nacional dos Estados Unidos, Jake Sullivan, destacou a importância de estabelecer esse limite. A preocupação de longo prazo incluía a possibilidade de potências nucleares divergirem sobre a necessidade de manter seres humanos no controle dessas decisões.
A questão não é apenas se uma IA poderia, algum dia, comandar diretamente um sistema de armas.
Também importa saber o que acontece quando um ser humano recebe uma recomendação errada, acredita nela e age antes que alguém consiga verificar os fatos.
✈️ E se a IA errar uma análise militar?
O artigo original também relata um episódio em que um analista militar americano teria recorrido a um chatbot para elaborar um relatório de inteligência sobre um navio chinês.
A ferramenta interpretou incorretamente o que a embarcação transportava, produzindo uma análise que sugeria uma possível ação militar. Segundo o relato, aeronaves americanas já estavam no ar e tropas se preparavam para abordar o navio antes que o erro fosse identificado.
O exemplo ilustra como uma falha de interpretação pode adquirir consequências muito maiores quando entra em um fluxo operacional.
Uma resposta incorreta em uma conversa comum pode ser inconveniente. A mesma resposta, incorporada a um relatório de inteligência e utilizada para orientar uma operação militar, pode ter efeitos muito diferentes.
Por isso, a supervisão humana precisa significar mais do que colocar uma pessoa para aprovar automaticamente tudo o que a IA recomenda.
A questão decisiva não é apenas se existe um ser humano no processo, mas se ele tem informação, tempo, autoridade e condições reais para contestar a máquina.
O verdadeiro teste será quando ninguém tiver tempo para conferir
Os episódios históricos apresentados pelo artigo não provam que os cenários extremos envolvendo inteligência artificial sejam impossíveis. Tampouco demonstram que a presença humana seja suficiente para impedir qualquer desastre.
Eles mostram algo mais concreto: falhas de interpretação, vulnerabilidades técnicas e decisões tomadas sob pressão já fazem parte da história dos sistemas complexos.
A IA pode ampliar capacidades, acelerar operações e ajudar a identificar problemas. Também pode aumentar a velocidade com que um erro se propaga, especialmente quando suas respostas são tratadas como fatos confirmados.
O risco cresce quando há automação sem mecanismos independentes de verificação, sistemas inseguros e pessoas que não conseguem questionar as recomendações recebidas.
Em 1983, Stanislav Petrov teve poucos minutos para decidir se confiava em uma máquina. Hoje, sistemas de IA estão entrando em processos que também exigem decisões rápidas.
A pergunta que permanece é se as organizações que os utilizam estão preparadas para reconhecer um erro antes que ele se transforme em uma ação irreversível.
