Principais destaques
- Mais bugs encontrados: em 13 casos difíceis, Sonnet 5.5 identificou 6 problemas conhecidos, contra 4 do Sonnet 5.
- Quase metade do tempo: na avaliação maior, o novo modelo levou 6min33s por revisão, contra 13min31s do antecessor.
- Menos tokens, menor custo: o preço por token não mudou, mas o consumo caiu bastante no teste da CodeRabbit, reduzindo o custo por revisão.
A primeira avaliação prática do Claude Sonnet 5.5 em revisão de código começa a mostrar onde está a principal mudança da nova geração.
Não é simplesmente uma questão de responder melhor. O modelo conseguiu encontrar mais problemas conhecidos em um teste controlado, manteve uma precisão de comentários praticamente semelhante e, principalmente, terminou o trabalho em muito menos tempo.
Para quem usa IA em dezenas ou centenas de pull requests, essa última parte pode ser a mais importante.
O novo Sonnet encontrou mais problemas 🔎
A CodeRabbit colocou Sonnet 5.5 e Sonnet 5 diante dos mesmos 13 pull requests difíceis, todos contendo bugs previamente verificados.
Com adaptive thinking ativado, os resultados foram:
| Métrica | Sonnet 5.5 | Sonnet 5 |
|---|---|---|
| Problemas conhecidos encontrados | 6 de 13 | 4 de 13 |
| Precisão acionável | 41,2% | 40,0% |
| Comentários reportados | 17 | 15 |
| Nitpicks | 2 | 3 |
O detalhe interessante está na proporção.
Sonnet 5.5 não precisou transformar a revisão em uma avalanche de comentários para encontrar mais problemas. Foram apenas dois comentários adicionais, enquanto a quantidade de issues conhecidas detectadas aumentou de quatro para seis.
A precisão acionável também praticamente não mudou.
🧩 E há uma diferença ainda mais importante: os modelos não encontraram exatamente os mesmos problemas.
Sonnet 5.5 identificou quatro problemas que o Sonnet 5 não encontrou. O modelo anterior, por sua vez, encontrou dois que passaram despercebidos pelo novo.
Isso significa que a evolução não está apenas no número final. O padrão de falhas também mudou.
Mas é a velocidade que chama mais atenção ⚡
Se existe um número capaz de transformar essa comparação em algo muito mais concreto para equipes de desenvolvimento, é o tempo.
Nos 13 casos difíceis, Sonnet 5.5 levou, em média, 5 minutos e 27 segundos por revisão.
O Sonnet 5 precisou de 9 minutos e 55 segundos.
A diferença ficou ainda mais clara quando a CodeRabbit ampliou o teste para 44 pull requests de projetos open source, contendo 85 problemas conhecidos.
| Teste | Sonnet 5.5 | Sonnet 5 |
|---|---|---|
| 13 casos difíceis | 5:27 | 9:55 |
| 44 pull requests, média | 6:33 | 13:31 |
| 44 pull requests, mediana | 5:44 | 13:49 |
No conjunto maior, o Sonnet 5.5 demorou menos da metade do tempo médio do Sonnet 5.
E isso aconteceu tanto na média quanto na mediana.
💡 Para revisão de código em escala, alguns minutos economizados por pull request podem ser mais importantes do que ganhar alguns pontos em um benchmark.
É uma diferença especialmente relevante porque code review é uma tarefa repetitiva. Uma equipe pode ter dezenas de PRs passando pelo mesmo processo durante uma semana.
Menos comentários não significa necessariamente pior revisão 👀
A avaliação maior traz outro dado curioso.
Sonnet 5.5 produziu 111 comentários, enquanto Sonnet 5 produziu 146.
Também houve uma queda expressiva nos chamados nitpicks:
| Comentários em 44 PRs | Sonnet 5.5 | Sonnet 5 |
|---|---|---|
| Total | 111 | 146 |
| Críticos | 4 | 14 |
| Major | 50 | 87 |
| Minor | 57 | 45 |
| Nitpicks | 9 | 30 |
À primeira vista, produzir menos comentários poderia parecer um sinal negativo.
Só que o teste de 13 casos conta uma história diferente: o Sonnet 5.5 encontrou mais bugs conhecidos mesmo produzindo apenas dois comentários adicionais.
Há uma ressalva importante.
A avaliação de qualidade dos 44 PRs ainda não estava concluída quando a CodeRabbit publicou os resultados. Portanto, esse conjunto maior permite observar com segurança a diferença de velocidade e volume de comentários, mas ainda não permite afirmar que os 111 comentários representam uma cobertura melhor do que os 146 anteriores.
📌 Em outras palavras: o teste pequeno é melhor para medir cobertura conhecida; o teste grande é mais útil para observar comportamento e velocidade em escala.
E o modo Thinking? A diferença é menor 🤔
A CodeRabbit também comparou o Sonnet 5.5 com adaptive thinking ativado e desativado.
| Configuração | Issues encontrados | Precisão acionável | Comentários | Tempo médio |
|---|---|---|---|---|
| Thinking ligado | 6 de 13 | 41,2% | 17 | 5:27 |
| Thinking desligado | 5 de 13 | 38,5% | 13 | 5:58 |
Com thinking, o modelo encontrou um problema adicional e apresentou precisão ligeiramente maior.
Curiosamente, também terminou a revisão 31 segundos mais rápido nesse teste específico.
Isso, porém, não significa que o modo de raciocínio seja necessariamente mais rápido. A diferença é pequena demais e o conjunto de apenas 13 casos não permite transformar esse resultado em uma regra geral.
O dado mais interessante é outro: o ganho de qualidade do thinking existe, mas não parece ser gigantesco nesse cenário.
O custo caiu sem Anthropic baixar o preço 💰
Há uma distinção importante aqui.
A Anthropic manteve os preços básicos do Sonnet 5.5 em US$ 2 por milhão de tokens de entrada e US$ 10 por milhão de tokens de saída, além dos valores de cache.
Portanto, não houve simplesmente uma redução da tabela de preços.
O que mudou foi o consumo.
Segundo a análise da CodeRabbit, usando os preços oficiais da Anthropic, o custo aproximado de chamadas do modelo ficou em:
| CodeRabbit | Sonnet 5.5 | Sonnet 5 |
|---|---|---|
| 13 revisões | US$ 6,16 | US$ 15,06 |
| Por revisão | US$ 0,47 | US$ 1,16 |
No workflow utilizado pela CodeRabbit, isso representa uma diferença considerável.
💸 O ponto-chave: Sonnet 5.5 não ficou mais barato porque o preço por token caiu. Ele ficou mais barato naquele fluxo porque precisou de menos tokens para realizar o trabalho.
Isso significa que o resultado pode variar bastante dependendo de prompt, tamanho do contexto, ferramentas utilizadas, código analisado e arquitetura do sistema de revisão.
Sonnet 5.5 não precisa disputar o mesmo espaço do Opus
Os resultados também ajudam a entender o posicionamento da família Claude 5.5.
O Sonnet 5.5 aparece como uma opção mais rápida e econômica para tarefas bem delimitadas, enquanto o Opus 5.5 é direcionado a trabalhos que exigem maior sustentação de raciocínio e julgamento.
Em um teste separado da própria CodeRabbit, utilizando os mesmos 13 casos difíceis, o Opus 5.5 encontrou:
• 8 de 13 problemas no modo Standard.
• 10 de 13 problemas no modo Max.
É importante não misturar diretamente os resultados. São avaliações separadas e não representam uma medição universal de capacidade de programação.
Mas a divisão de papéis fica mais clara.
Um modelo não precisa substituir o outro.
A grande aposta pode ser colocar IA em cada PR 🚀
Imagine uma equipe com centenas de pull requests ao longo de um mês.
Nesse cenário, a pergunta deixa de ser apenas: “Qual modelo encontra mais bugs?”
Passa a ser: “Qual modelo consegue revisar tudo isso sem transformar o processo em um gargalo?”
É justamente aí que os resultados do Sonnet 5.5 ficam mais interessantes.
No teste apresentado, ele encontrou mais problemas conhecidos que o Sonnet 5 no conjunto julgado, manteve praticamente a mesma precisão acionável e reduziu drasticamente o tempo necessário para cada revisão.
E ainda consumiu menos tokens no workflow analisado pela CodeRabbit.
🔎 Mas existe um limite claro: 13 casos são poucos para declarar um vencedor universal. Repositórios desconhecidos, arquiteturas incomuns, problemas de produto e bugs que exigem contexto amplo podem produzir resultados muito diferentes.
Por isso, a leitura mais segura dos dados é mais específica.
O Sonnet 5.5 parece tornar a revisão automatizada mais eficiente, especialmente quando o volume de trabalho é alto e as tarefas são relativamente bem delimitadas.
No fim, a diferença entre cinco e treze minutos pode parecer pequena olhando para um único pull request.
Multiplique isso por dezenas de revisões. Aí o cronômetro começa a virar uma questão de arquitetura.
