Principais destaques
- Resultados expressivos: pesquisadores do MIT CSAIL relatam que uma edição direta nos pesos do Qwen3.5-0.8B elevou sua pontuação no MATH-500 de 7,9% para 48,1%.
- Sem treinamento adicional: o método modificou apenas 0,016% dos pesos do modelo para reduzir falhas de raciocínio repetitivo que faziam o sistema entrar em loops.
- Resultados ainda em verificação: reproduções independentes encontraram resultados promissores, mas ainda não confirmaram todos os ganhos relatados nos experimentos originais.
E se, em vez de treinar uma inteligência artificial para ficar mais inteligente, bastasse corrigir algumas peças do que ela já aprendeu?
Essa é a provocação de um experimento conduzido por quatro pesquisadores do MIT CSAIL. Em um relato publicado em 2 de novembro, Rikiya Takehi, Jayden Teoh, Alex Zhang e Omar Khattab afirmam que o GPT-6 Astra, da OpenAI, conseguiu melhorar significativamente o desempenho de um modelo aberto da Alibaba ao modificar diretamente seus pesos internos.
O resultado mais chamativo foi no MATH-500, benchmark que avalia a capacidade de resolver problemas matemáticos. A pontuação do Qwen3.5-0.8B passou de 7,9% para 48,1%, sem um novo ciclo de treinamento convencional.
Mas existe um detalhe importante: a experiência não demonstra necessariamente que o modelo aprendeu matemática nova. A hipótese dos pesquisadores é que ele já possuía parte da capacidade necessária, mas falhava ao tentar utilizá-la.
🧠 A ideia é corrigir o modelo por dentro
Modelos de linguagem armazenam parte do que aprenderam em matrizes de números chamadas pesos. Durante o treinamento, esses valores são ajustados para que a rede neural produza respostas melhores.
O experimento explorou outro caminho. Em vez de realizar um novo treinamento, o Astra examinou o comportamento do modelo e alterou diretamente uma pequena parte desses parâmetros.
Os pesquisadores chamaram a abordagem de programação no espaço de pesos.
A proposta é tratar os pesos de uma rede neural de maneira semelhante ao código de um programa: identificar um comportamento problemático, localizar os componentes associados a ele e aplicar uma correção direcionada.
🔬 A escala da mudança impressiona: segundo os autores, foram editados 131.072 pesos, equivalentes a aproximadamente 0,016% do total do Qwen3.5-0.8B.
A intervenção foi pequena em relação ao tamanho do modelo, mas teve efeitos expressivos nos testes apresentados.
O problema estava em um loop de raciocínio 🔁
O Qwen3.5-0.8B apresentava um comportamento conhecido como reasoning loop: em vez de avançar para uma solução, o modelo repetia etapas do próprio raciocínio, consumindo tokens sem chegar a uma resposta.
O problema não era apenas estético. Uma parcela das respostas chegava ao limite de 32.768 tokens sem concluir a tarefa.
Segundo o relato, o Astra identificou uma direção associada a esses loops nas redes MLP das camadas 15 e 19. Em seguida, subtraiu essa direção de 64 colunas de saída em cada uma das duas camadas.
O objetivo não era acrescentar conhecimentos matemáticos, mas interromper um padrão de processamento que impedia o modelo de concluir os problemas.
💡 A principal descoberta é que uma falha de execução pode esconder uma capacidade que o modelo já possui.
Os números apresentados pelos pesquisadores são expressivos. A proporção de respostas do MATH-500 que atingiam o limite de tokens caiu de 93% para 33%.
Isso sugere que a correção reduziu significativamente o comportamento repetitivo, embora não tenha eliminado o problema por completo.
📊 O que mudou nos benchmarks?
Os resultados relatados abrangem três avaliações: matemática, raciocínio aplicado a problemas e seguimento de instruções.
| Benchmark | Antes da edição | Depois da edição |
|---|---|---|
| MATH-500 | 7,9% | 48,1% |
| GSM8K | 13,8% | 67,1% |
| IFEval | 21,0% | 62,3% |
O MATH-500 avalia a resolução de problemas matemáticos. O GSM8K reúne problemas matemáticos apresentados em linguagem natural, enquanto o IFEval verifica a capacidade de seguir instruções específicas.
A melhora simultânea nos três benchmarks é relevante porque sugere que a intervenção pode ter efeitos além de um único conjunto de questões.
Ainda assim, os resultados precisam ser interpretados com cautela. Os números são os relatados no experimento original, e as verificações independentes disponíveis no material não reproduziram todos os ganhos.
⏱️ Não foi uma correção instantânea
Embora o método dispense um novo treinamento convencional, encontrar a alteração adequada exigiu experimentação.
A melhor execução descrita levou 158 turnos de conversa, 80 execuções de Python e 20,3 horas. Desse total, 4,7 horas foram perdidas por uma interrupção do serviço.
Os pesquisadores também testaram orçamentos menores, com apenas 10 ou 25 execuções de teste. Nessas condições, os loops praticamente não desapareceram.
⚙️ O que isso revela? A edição de pesos pode reduzir o custo de modificar um modelo, mas descobrir qual alteração fazer ainda pode exigir muitas tentativas, ferramentas de análise e avaliações repetidas.
Nem toda IA pode ser melhorada dessa maneira
Um dos aspectos mais importantes do trabalho é o experimento com o Gemma 3 270M.
Nesse modelo, que raramente entrava em loops de raciocínio, a mesma abordagem produziu uma variação inferior a um ponto percentual no MATH-500.
A diferença ajuda a explicar a hipótese central dos pesquisadores: o método funciona melhor quando existe um obstáculo específico que pode ser identificado e removido.
Não se trata de uma técnica universal para transformar modelos pequenos em sistemas mais capazes.
Em outros experimentos descritos, o Astra também identificou redes capazes de jogar videogames a partir dos pesos e corrigiu uma política de direção com falhas, alterando 3,5% dos parâmetros. Os autores ainda relataram a criação de uma rede para jogar Breakout que superou uma referência treinada convencionalmente.
Esses resultados ampliam o escopo da investigação, mas não significam que todas essas aplicações tenham o mesmo grau de validação independente.
🔎 A comunidade conseguiu reproduzir os resultados?
O trabalho foi publicado como um post de blog, e não como um artigo revisado por pares. Os pesquisadores, porém, disponibilizaram os registros completos dos experimentos para permitir verificações externas.
Uma reprodução divulgada pela comunidade no Hugging Face aplicou a edição publicada e obteve 50,2% no MATH-500 com o modo de raciocínio ativado.
Há uma ressalva importante: nessa mesma verificação, o modelo original alcançou 45,8% quando o modo de raciocínio estava desativado. Como as condições de avaliação são diferentes, essa comparação não permite atribuir toda a diferença à edição dos pesos.
Rikiya Takehi também afirmou no X que uma reconstrução independente baseada nos registros chegou a 51,0%.
Até o momento descrito no material, nenhuma dessas verificações reproduziu os ganhos originais no GSM8K ou no IFEval.
Portanto, existe uma distinção fundamental entre demonstrar que a edição pode funcionar em determinadas condições e confirmar que todos os resultados são robustos, reproduzíveis e comparáveis.
⚠️ Uma descoberta promissora, mas controversa
A pesquisa também provocou críticas. Maxime Fournes, CEO da PauseAI, classificou a linha de investigação como imprudente. Outros comentaristas argumentaram que os resultados demonstram sobretudo a capacidade de remover uma falha evidente, e não uma forma geral de aumentar a inteligência de uma rede neural.
A preocupação merece atenção porque alterações diretas nos pesos podem produzir efeitos difíceis de antecipar. Uma modificação que melhora um benchmark pode prejudicar outros comportamentos, e ganhos observados em testes específicos não garantem maior confiabilidade no uso cotidiano.
Os próprios autores apontam para a necessidade de criar benchmarks e procedimentos de avaliação que transformem a técnica em uma disciplina de engenharia rigorosa e reproduzível.
O próximo passo pode mudar a forma de desenvolver modelos
A programação no espaço de pesos abre uma possibilidade interessante: em alguns casos, talvez seja possível melhorar um modelo já treinado sem pagar novamente o custo de um ciclo completo de treinamento.
Isso poderia ser útil para corrigir falhas específicas, adaptar modelos menores ou investigar comportamentos inesperados em redes neurais.
Mas há uma diferença entre corrigir um defeito e ampliar as capacidades fundamentais de um sistema. O experimento com o Qwen oferece evidências iniciais de que o primeiro objetivo pode ser alcançado em determinadas condições. O segundo continua em aberto.
A pergunta agora não é apenas se uma IA consegue editar os pesos de outra. É se essa capacidade pode ser aplicada de maneira previsível, segura e reproduzível, sem trocar um problema conhecido por vários outros ainda mais difíceis de detectar.
