Principais destaques
- OpenAI assume a liderança: GPT-6 Astra alcançou uma vantagem de aproximadamente 430 pontos ELO sobre Claude Opus 4.6 em um benchmark de jogos de estratégia e blefe.
- Ceticismo faz a diferença: os modelos da OpenAI demonstraram maior capacidade de questionar evidências, identificar contradições e desconfiar de informações potencialmente manipuladas.
- Inteligência coletiva sob pressão: o experimento também mostrou que combinar diferentes modelos de IA em uma mesma equipe não garante resultados melhores do que utilizar agentes da mesma família.
Uma inteligência artificial consegue mentir sem ser descoberta? E, mais importante, consegue perceber quando outra IA está tentando enganá-la?
Para investigar essas questões, um pesquisador colocou alguns dos modelos mais avançados do mercado para disputar centenas de partidas de Blood on the Clock Tower, um jogo de dedução social baseado em blefes, alianças secretas e manipulação de informações.
O resultado chamou a atenção: segundo os dados apresentados pelo criador do experimento, o GPT-6 Astra, da OpenAI, superou os modelos Claude da Anthropic, demonstrando uma vantagem significativa em raciocínio estratégico, coordenação e identificação de mentiras.
Não estamos falando de uma prova tradicional de matemática ou conhecimento geral. O desafio exige algo bem diferente: compreender as intenções dos outros jogadores, desconfiar de informações aparentemente confiáveis e construir uma interpretação coerente de acontecimentos que podem ter sido manipulados.
🕵️ Um jogo de mentiras virou laboratório para inteligência artificial
O experimento utiliza Blood on the Clock Tower, um jogo de dedução social com mecânicas semelhantes às de Werewolf e Mafia.
Os participantes são divididos em dois grupos: uma equipe do bem e outra do mal. O objetivo dos jogadores bons é descobrir quem está escondendo sua verdadeira identidade, enquanto os integrantes do time adversário precisam enganar os demais até alcançar a vitória.
Existe ainda uma figura central chamada demônio, responsável por eliminar um jogador durante cada noite.
A dinâmica cria um ambiente particularmente interessante para avaliar modelos de inteligência artificial.
Os participantes precisam:
- Construir narrativas convincentes sem revelar suas verdadeiras intenções.
- Identificar inconsistências nos depoimentos dos adversários.
- Compartilhar informações incompletas sem comprometer a estratégia.
- Reconhecer quando uma evidência aparentemente confiável pode ter sido manipulada.
- Coordenar decisões com outros agentes durante várias rodadas.
🔎 O detalhe mais interessante: não basta responder corretamente a uma pergunta. Cada modelo precisa acompanhar o histórico da partida, interpretar o comportamento dos outros participantes e atualizar suas hipóteses conforme novas informações aparecem.
É justamente essa combinação que transforma o jogo em um teste de raciocínio social e coordenação entre múltiplos agentes.
📊 GPT-6 Astra abre vantagem de 430 pontos ELO
Segundo os resultados apresentados pelo criador do benchmark, o GPT-6 Astra ocupa a primeira posição entre os modelos avaliados.
A comparação direta considerou 368 partidas nas quais equipes formadas integralmente por um modelo enfrentaram equipes controladas por outro.
O resultado atribuído ao Astra representa uma vantagem de aproximadamente 430 pontos ELO sobre o Claude Opus 4.6.
Essa diferença corresponde a uma taxa estimada de vitória de aproximadamente 92% nos confrontos diretos.
| Indicador | Resultado divulgado |
|---|---|
| Partidas analisadas | 368 |
| Vantagem do GPT-6 Astra | 430 pontos ELO |
| Taxa estimada de vitória | 92% |
| Evolução entre GPT-5.4 e GPT-6 Astra | 580 pontos ELO |
| Vitórias do Astra contra GPT-5.4 | Aproximadamente 97% |
O desempenho também revela uma mudança importante na evolução dos modelos.
Em março, o GPT-5.4 ainda aparecia atrás do Claude Opus 4.6 nesse ambiente. A vantagem atual da OpenAI teria surgido principalmente com a evolução dos seus modelos mais recentes.
📈 Uma evolução expressiva: a diferença de aproximadamente 580 pontos ELO entre GPT-5.4 e GPT-6 Astra indica uma transformação considerável no desempenho dentro desse benchmark específico.
Isso sugere que os avanços não estão restritos à capacidade de processar informações. Também envolvem a maneira como os modelos interpretam situações ambíguas e tomam decisões estratégicas.
🧠 O segredo da OpenAI pode estar na capacidade de desconfiar
O aspecto mais revelador do experimento não foi simplesmente a capacidade de blefar.
A principal vantagem dos modelos da OpenAI apareceu quando eles precisaram jogar pela equipe do bem, justamente aquela responsável por descobrir os participantes que estavam mentindo.
O pesquisador identificou uma diferença de comportamento entre os modelos.
Enquanto os agentes da OpenAI demonstravam maior disposição para questionar informações individuais, os modelos da Anthropic observados no experimento tendiam a aceitar determinados relatos e resultados com mais facilidade.
Isso não significa que desconfiar de tudo seja uma estratégia eficiente.
O diferencial está em avaliar cada informação dentro do contexto geral da partida, considerando outras evidências e possíveis explicações alternativas.
💡 A diferença entre acreditar e raciocinar: uma informação pode parecer verdadeira isoladamente, mas perder completamente a credibilidade quando comparada ao restante dos acontecimentos.
🎯 Uma jogada revelou a diferença entre os modelos
Um dos exemplos apresentados pelo pesquisador ajuda a entender essa diferença.
Durante uma partida, um personagem conhecido como slayer tem a oportunidade de atacar alguém que acredita ser o demônio.
Quando o disparo não funciona, o resultado normalmente representa uma evidência importante de que o alvo não é o verdadeiro vilão.
As equipes controladas pelo Claude aceitaram rapidamente essa interpretação e passaram a considerar o jogador inocente.
Já os agentes controlados pelo GPT adotaram uma postura diferente.
Em vez de tratar o resultado como uma prova definitiva, levantaram a possibilidade de que a equipe adversária tivesse sabotado deliberadamente a habilidade do personagem.
A hipótese mudou completamente a interpretação dos acontecimentos.
No dia seguinte, os agentes da OpenAI conseguiram identificar a explicação correta, executar o verdadeiro demônio e vencer a partida.
Esse episódio ilustra uma habilidade importante: perceber que nem todo resultado observado representa necessariamente a realidade.
🔍 Modelos da OpenAI identificaram o verdadeiro culpado mais rapidamente
O pesquisador também acompanhou as estimativas privadas dos jogadores da equipe do bem.
Todos os dias, os agentes precisavam indicar quem consideravam ser o provável demônio.
Essas informações permitiram observar como cada modelo atualizava suas suspeitas conforme a partida avançava.
Os resultados indicaram que os modelos da OpenAI convergiam mais rapidamente para a identidade correta do adversário.
Isso é particularmente relevante porque demonstra uma capacidade de acumular evidências ao longo do tempo, em vez de tomar decisões baseadas exclusivamente no acontecimento mais recente.
Em aplicações reais, esse comportamento pode fazer diferença em tarefas que envolvem:
- Análise de informações contraditórias.
- Investigações com múltiplas fontes.
- Identificação de inconsistências em documentos.
- Monitoramento de atividades suspeitas.
- Coordenação de agentes autônomos.
Naturalmente, o desempenho em um jogo não comprova que essas capacidades serão reproduzidas com a mesma eficiência em ambientes profissionais. Mas oferece uma maneira interessante de investigar como os modelos lidam com informações potencialmente enganosas.
⚖️ Quando todos ficam mais inteligentes, quem leva vantagem?
Uma das perguntas centrais do benchmark era descobrir se modelos mais inteligentes favoreceriam necessariamente os jogadores bons ou os integrantes da equipe do mal.
A lógica parece simples.
Se os modelos conseguem raciocinar melhor, os jogadores bons podem identificar contradições com mais facilidade. Por outro lado, os jogadores mal-intencionados também podem construir histórias mais convincentes e coordenar seus blefes.
Os resultados não apontaram uma vantagem estatisticamente significativa para nenhum dos lados.
A taxa de vitória da equipe do mal apresentou uma pequena redução à medida que os modelos ficaram mais capazes, mas a diferença foi insuficiente para estabelecer uma relação conclusiva.
⚖️ Um benchmark que acompanha a evolução: essa característica é importante porque evita que o teste se torne facilmente previsível conforme novos modelos são lançados.
Como os adversários também evoluem, o desafio permanece relativamente competitivo.
🤝 Misturar GPT e Claude melhora o desempenho?
O pesquisador também investigou outra hipótese: equipes compostas por diferentes modelos poderiam apresentar resultados superiores aos de grupos homogêneos?
A ideia é semelhante à formação de equipes humanas multidisciplinares. Pessoas com experiências e perspectivas diferentes podem identificar problemas que passariam despercebidos por um grupo muito parecido.
Para testar essa possibilidade, foi montada uma equipe dividida entre agentes Claude Opus 5.5 e GPT-5.6.
O grupo participou de aproximadamente 130 partidas contra outros modelos avançados.
O resultado não confirmou a expectativa.
As equipes híbridas apresentaram desempenho um pouco inferior ao das equipes formadas exclusivamente por modelos de uma mesma família.
Entretanto, a diferença não foi estatisticamente significativa.
Portanto, ainda não é possível afirmar que misturar modelos prejudica o desempenho coletivo. O experimento apenas indica que diversidade de modelos, por si só, não garante uma inteligência coletiva superior.
💰 Um experimento que custou US$ 20 mil
Além dos resultados, o desenvolvimento do benchmark também chama a atenção.
Segundo o pesquisador, o projeto consumiu aproximadamente US$ 20 mil em créditos de API.
Uma parcela significativa dos recursos foi utilizada para desenvolver e aperfeiçoar o funcionamento do jogo, incluindo regras, tabelas de probabilidades e mecanismos necessários para evitar vantagens artificiais para qualquer equipe.
O trabalho também contou com assistência de inteligência artificial.
O Claude teria participado de boa parte do desenvolvimento do ambiente experimental, ajudando a executar testes e revisar situações que poderiam comprometer o equilíbrio das partidas.
Existe uma ironia interessante nessa história: um dos modelos avaliados também ajudou a construir o ambiente utilizado para comparar a capacidade estratégica de diferentes inteligências artificiais.
O criador disponibilizou o mecanismo do jogo e a estrutura de testes para que outros pesquisadores possam reproduzir o experimento e investigar novas possibilidades.
🚀 O que esse resultado realmente significa para o futuro da IA?
O desempenho do GPT-6 Astra oferece uma perspectiva diferente sobre a evolução dos modelos de inteligência artificial.
Durante muito tempo, a comparação entre sistemas avançados ficou concentrada em benchmarks de matemática, programação, conhecimento e compreensão de linguagem.
Essas avaliações continuam importantes, mas não conseguem representar todas as habilidades necessárias para sistemas que precisam trabalhar em conjunto, tomar decisões e lidar com informações conflitantes.
O Blood on the Clock Tower introduz uma dimensão adicional: a capacidade de raciocinar sobre o comportamento de outros agentes, identificar possíveis manipulações e revisar conclusões ao longo de uma interação prolongada.
Isso ganha importância em um cenário no qual empresas estão desenvolvendo sistemas multiagentes capazes de dividir tarefas, analisar informações e executar processos com diferentes níveis de autonomia.
Ainda assim, é importante não transformar um resultado específico em uma classificação universal.
O benchmark avalia uma combinação particular de ceticismo, detecção de mentiras, estratégia e coordenação. Ele não demonstra que o GPT-6 Astra seja superior ao Claude em programação, matemática, criação de conteúdo ou todas as demais atividades.
Afinal, vencer um jogo de blefe não significa necessariamente ser o melhor em qualquer outra tarefa.
Mas existe uma pergunta que merece acompanhar os próximos avanços: se uma inteligência artificial já consegue identificar quando outra está manipulando informações, até que ponto poderemos confiar nas decisões tomadas por equipes inteiramente compostas por agentes autônomos?
