Claude Sonnet 5.5 acelera o código sem perder precisão

Renê Fraga
10 min de leitura

Principais destaques

  • Mais bugs encontrados: em 13 casos difíceis, Sonnet 5.5 identificou 6 problemas conhecidos, contra 4 do Sonnet 5.
  • Quase metade do tempo: na avaliação maior, o novo modelo levou 6min33s por revisão, contra 13min31s do antecessor.
  • Menos tokens, menor custo: o preço por token não mudou, mas o consumo caiu bastante no teste da CodeRabbit, reduzindo o custo por revisão.

A primeira avaliação prática do Claude Sonnet 5.5 em revisão de código começa a mostrar onde está a principal mudança da nova geração.

Não é simplesmente uma questão de responder melhor. O modelo conseguiu encontrar mais problemas conhecidos em um teste controlado, manteve uma precisão de comentários praticamente semelhante e, principalmente, terminou o trabalho em muito menos tempo.

Para quem usa IA em dezenas ou centenas de pull requests, essa última parte pode ser a mais importante.

O novo Sonnet encontrou mais problemas 🔎

A CodeRabbit colocou Sonnet 5.5 e Sonnet 5 diante dos mesmos 13 pull requests difíceis, todos contendo bugs previamente verificados.

Com adaptive thinking ativado, os resultados foram:

MétricaSonnet 5.5Sonnet 5
Problemas conhecidos encontrados6 de 134 de 13
Precisão acionável41,2%40,0%
Comentários reportados1715
Nitpicks23

O detalhe interessante está na proporção.

Sonnet 5.5 não precisou transformar a revisão em uma avalanche de comentários para encontrar mais problemas. Foram apenas dois comentários adicionais, enquanto a quantidade de issues conhecidas detectadas aumentou de quatro para seis.

A precisão acionável também praticamente não mudou.

🧩 E há uma diferença ainda mais importante: os modelos não encontraram exatamente os mesmos problemas.

Sonnet 5.5 identificou quatro problemas que o Sonnet 5 não encontrou. O modelo anterior, por sua vez, encontrou dois que passaram despercebidos pelo novo.

Isso significa que a evolução não está apenas no número final. O padrão de falhas também mudou.

Mas é a velocidade que chama mais atenção ⚡

Se existe um número capaz de transformar essa comparação em algo muito mais concreto para equipes de desenvolvimento, é o tempo.

Nos 13 casos difíceis, Sonnet 5.5 levou, em média, 5 minutos e 27 segundos por revisão.

O Sonnet 5 precisou de 9 minutos e 55 segundos.

A diferença ficou ainda mais clara quando a CodeRabbit ampliou o teste para 44 pull requests de projetos open source, contendo 85 problemas conhecidos.

TesteSonnet 5.5Sonnet 5
13 casos difíceis5:279:55
44 pull requests, média6:3313:31
44 pull requests, mediana5:4413:49

No conjunto maior, o Sonnet 5.5 demorou menos da metade do tempo médio do Sonnet 5.

E isso aconteceu tanto na média quanto na mediana.

💡 Para revisão de código em escala, alguns minutos economizados por pull request podem ser mais importantes do que ganhar alguns pontos em um benchmark.

É uma diferença especialmente relevante porque code review é uma tarefa repetitiva. Uma equipe pode ter dezenas de PRs passando pelo mesmo processo durante uma semana.

Menos comentários não significa necessariamente pior revisão 👀

A avaliação maior traz outro dado curioso.

Sonnet 5.5 produziu 111 comentários, enquanto Sonnet 5 produziu 146.

Também houve uma queda expressiva nos chamados nitpicks:

Comentários em 44 PRsSonnet 5.5Sonnet 5
Total111146
Críticos414
Major5087
Minor5745
Nitpicks930

À primeira vista, produzir menos comentários poderia parecer um sinal negativo.

Só que o teste de 13 casos conta uma história diferente: o Sonnet 5.5 encontrou mais bugs conhecidos mesmo produzindo apenas dois comentários adicionais.

Há uma ressalva importante.

A avaliação de qualidade dos 44 PRs ainda não estava concluída quando a CodeRabbit publicou os resultados. Portanto, esse conjunto maior permite observar com segurança a diferença de velocidade e volume de comentários, mas ainda não permite afirmar que os 111 comentários representam uma cobertura melhor do que os 146 anteriores.

📌 Em outras palavras: o teste pequeno é melhor para medir cobertura conhecida; o teste grande é mais útil para observar comportamento e velocidade em escala.

E o modo Thinking? A diferença é menor 🤔

A CodeRabbit também comparou o Sonnet 5.5 com adaptive thinking ativado e desativado.

ConfiguraçãoIssues encontradosPrecisão acionávelComentáriosTempo médio
Thinking ligado6 de 1341,2%175:27
Thinking desligado5 de 1338,5%135:58

Com thinking, o modelo encontrou um problema adicional e apresentou precisão ligeiramente maior.

Curiosamente, também terminou a revisão 31 segundos mais rápido nesse teste específico.

Isso, porém, não significa que o modo de raciocínio seja necessariamente mais rápido. A diferença é pequena demais e o conjunto de apenas 13 casos não permite transformar esse resultado em uma regra geral.

O dado mais interessante é outro: o ganho de qualidade do thinking existe, mas não parece ser gigantesco nesse cenário.

O custo caiu sem Anthropic baixar o preço 💰

Há uma distinção importante aqui.

A Anthropic manteve os preços básicos do Sonnet 5.5 em US$ 2 por milhão de tokens de entrada e US$ 10 por milhão de tokens de saída, além dos valores de cache.

Portanto, não houve simplesmente uma redução da tabela de preços.

O que mudou foi o consumo.

Segundo a análise da CodeRabbit, usando os preços oficiais da Anthropic, o custo aproximado de chamadas do modelo ficou em:

CodeRabbitSonnet 5.5Sonnet 5
13 revisõesUS$ 6,16US$ 15,06
Por revisãoUS$ 0,47US$ 1,16

No workflow utilizado pela CodeRabbit, isso representa uma diferença considerável.

💸 O ponto-chave: Sonnet 5.5 não ficou mais barato porque o preço por token caiu. Ele ficou mais barato naquele fluxo porque precisou de menos tokens para realizar o trabalho.

Isso significa que o resultado pode variar bastante dependendo de prompt, tamanho do contexto, ferramentas utilizadas, código analisado e arquitetura do sistema de revisão.

Sonnet 5.5 não precisa disputar o mesmo espaço do Opus

Os resultados também ajudam a entender o posicionamento da família Claude 5.5.

O Sonnet 5.5 aparece como uma opção mais rápida e econômica para tarefas bem delimitadas, enquanto o Opus 5.5 é direcionado a trabalhos que exigem maior sustentação de raciocínio e julgamento.

Em um teste separado da própria CodeRabbit, utilizando os mesmos 13 casos difíceis, o Opus 5.5 encontrou:

• 8 de 13 problemas no modo Standard.

• 10 de 13 problemas no modo Max.

É importante não misturar diretamente os resultados. São avaliações separadas e não representam uma medição universal de capacidade de programação.

Mas a divisão de papéis fica mais clara.

Um modelo não precisa substituir o outro.

A grande aposta pode ser colocar IA em cada PR 🚀

Imagine uma equipe com centenas de pull requests ao longo de um mês.

Nesse cenário, a pergunta deixa de ser apenas: “Qual modelo encontra mais bugs?”

Passa a ser: “Qual modelo consegue revisar tudo isso sem transformar o processo em um gargalo?”

É justamente aí que os resultados do Sonnet 5.5 ficam mais interessantes.

No teste apresentado, ele encontrou mais problemas conhecidos que o Sonnet 5 no conjunto julgado, manteve praticamente a mesma precisão acionável e reduziu drasticamente o tempo necessário para cada revisão.

E ainda consumiu menos tokens no workflow analisado pela CodeRabbit.

🔎 Mas existe um limite claro: 13 casos são poucos para declarar um vencedor universal. Repositórios desconhecidos, arquiteturas incomuns, problemas de produto e bugs que exigem contexto amplo podem produzir resultados muito diferentes.

Por isso, a leitura mais segura dos dados é mais específica.

O Sonnet 5.5 parece tornar a revisão automatizada mais eficiente, especialmente quando o volume de trabalho é alto e as tarefas são relativamente bem delimitadas.

No fim, a diferença entre cinco e treze minutos pode parecer pequena olhando para um único pull request.

Multiplique isso por dezenas de revisões. Aí o cronômetro começa a virar uma questão de arquitetura.

Apoie o Eurisko
Este conteúdo é independente, sem anúncios e feito por pessoas.
A inteligência artificial e as mudanças recentes do Google reduziram significativamente o alcance dos sites independentes. Se este conteúdo foi útil para você, considere apoiar o Eurisko e todo o ecossistema de projetos com qualquer valor.
Quero apoiar
Seguir:
Renê Fraga é fundador e editor-chefe do Eurisko, ecossistema editorial independente dedicado à inteligência artificial, código aberto, tecnologia e cultura digital. Atuando com projetos online desde 1996, escreve há mais de 20 anos sobre tecnologia e inovação, acompanhando a evolução da internet e o impacto das novas tecnologias na forma como vivemos, trabalhamos e pensamos.
Nenhum comentário