Principais destaques
- Menos tokens: o formato TOON elimina repetições presentes no JSON e pode reduzir o volume de dados enviados aos modelos de IA.
- Economia variável: um exemplo divulgado pelo projeto utiliza 66 tokens em TOON contra 117 em JSON formatado, mas os resultados dependem da estrutura dos dados.
- JSON continua relevante: o novo formato é uma alternativa para otimizar prompts, não um substituto universal para APIs e sistemas tradicionais.
Quem desenvolve aplicações com inteligência artificial conhece um problema que pode passar despercebido: cada informação enviada a um modelo de linguagem consome tokens. E, dependendo do volume de dados, isso pode representar uma conta considerável no final do mês.
Agora, um formato chamado TOON (Token-Oriented Object Notation) propõe uma maneira de diminuir esse consumo, especialmente quando sistemas precisam enviar centenas ou milhares de registros estruturados para modelos como GPT, Claude e Gemini.
A ideia é simples. Em vez de repetir nomes de campos, aspas, chaves e outros elementos característicos do JSON, o TOON organiza as informações em uma estrutura mais compacta.
💰 O detalhe que chama atenção: em um exemplo publicado pelos responsáveis pelo projeto, uma previsão do tempo representada em TOON ocupa aproximadamente 66 tokens, enquanto a versão em JSON formatado utiliza 117.
Isso representa uma redução de cerca de 44% naquele exemplo específico.
Mas será que estamos diante de um substituto para o JSON?
Primeiro, por que o JSON consome tantos tokens? 🤔
O JSON (JavaScript Object Notation) é um dos formatos mais utilizados no desenvolvimento de software. Ele permite representar informações estruturadas de maneira compreensível para diferentes linguagens de programação.
Está presente em APIs, aplicações web, bancos de dados e praticamente qualquer serviço que precise trocar informações com outro sistema.
Imagine uma aplicação que armazena três usuários. Em JSON, os dados poderiam aparecer assim:
{
"users": [
{ "id": 1, "name": "Ada", "role": "admin" },
{ "id": 2, "name": "Lin", "role": "user" },
{ "id": 3, "name": "Sam", "role": "user" }
]
}
Repare que os campos id, name e role aparecem três vezes, uma para cada usuário.
Para um programa tradicional, isso não costuma representar um grande problema. Mas, quando o conteúdo é enviado para uma inteligência artificial, todas essas repetições fazem parte do texto que precisa ser tokenizado.
🧩 É aqui que entra o TOON: o formato foi desenvolvido justamente para reduzir essa redundância, preservando a estrutura das informações.
Como o TOON funciona na prática?
O TOON utiliza uma representação baseada em linhas, indentação e declarações compactas.
O mesmo conjunto de usuários apresentado anteriormente pode ser escrito assim:
users[3]{id,name,role}:
1,Ada,admin
2,Lin,user
3,Sam,user
A diferença fica evidente.
Os nomes dos campos aparecem apenas uma vez, no cabeçalho. A declaração [3] informa a quantidade de registros, enquanto {id,name,role} estabelece a ordem dos valores apresentados nas linhas seguintes.
O resultado lembra uma tabela, mas com recursos para representar estruturas mais complexas do que um arquivo CSV convencional.
Comparação visual da estrutura
Os dois formatos representam os mesmos dados, mas organizam as informações de maneiras diferentes.
JSON
Estrutura baseada em objetosOs nomes dos campos são repetidos em cada registro, junto com as chaves e outros elementos estruturais.
TOON
Estrutura tabular compactaOs nomes dos campos são declarados uma única vez. Os valores aparecem em linhas compactas.
O ganho tende a ser mais expressivo quando existem muitos registros com a mesma estrutura, como catálogos de produtos, resultados de pesquisas, relatórios de desempenho e listas de clientes.
💡 A proposta do TOON não é mudar os dados que a inteligência artificial recebe, mas reduzir a quantidade de texto necessária para representá-los.
Quanto o TOON pode reduzir o consumo de tokens?
Exemplo de previsão do tempo publicado pelo projeto TOON. Compare a quantidade de tokens usada por cada formato.
JSON formatado
117 tokens
TOON
66 tokens
Importante: este é um exemplo específico divulgado pelo projeto TOON, não uma média universal. O resultado varia conforme os dados, o tokenizador e o modelo utilizado. A comparação é com JSON formatado.
📊 Existe uma ressalva importante: o JSON também pode ser compactado, removendo espaços e quebras de linha desnecessários.
Por isso, comparar TOON apenas com JSON formatado pode exagerar a vantagem prática do novo formato.
Uma avaliação mais justa precisa considerar três alternativas: JSON formatado, JSON minificado e TOON.
Além disso, o número de tokens depende do tokenizador utilizado. O projeto informa que seus benchmarks empregam a codificação o200k_base, por meio da biblioteca gpt-tokenizer.
Os resultados podem ser diferentes em outros modelos.
Menos tokens significam uma API mais barata?
Em determinadas situações, sim.
As APIs de modelos de linguagem normalmente consideram a quantidade de tokens processados para calcular os custos de utilização.
Quando um formato reduz o volume de tokens de entrada, a parcela da cobrança relacionada àqueles dados também pode diminuir.
Imagine um sistema que envia 10 mil tokens de dados estruturados em JSON para uma inteligência artificial.
Se o mesmo conteúdo ocupar 7 mil tokens em TOON, a redução será de 30%.
Simule a economia de tokens
Ajuste os dados para estimar como a conversão de JSON para TOON pode afetar o consumo de tokens e o custo de entrada da API.
Parâmetros da simulação
Resultados estimados
Estimativa ilustrativa. O cálculo considera mil envios com o mesmo volume de dados e o mesmo preço por token. Não inclui tokens de saída, raciocínio, cache, impostos ou outras cobranças. Os preços são hipotéticos, não tarifas atuais de um provedor.
A economia, entretanto, não se aplica automaticamente à conta inteira.
Uma aplicação também pode pagar por tokens de saída, processamento de raciocínio e outras operações. Dependendo do serviço, o armazenamento em cache também altera os valores cobrados.
⚠️ E tem outro detalhe: uma representação menor não garante respostas mais rápidas. O tempo de processamento depende de outros fatores, incluindo a complexidade da solicitação e o comportamento do modelo.
A inteligência artificial entende melhor o TOON? 🧠
Essa é uma das perguntas mais importantes.
O formato foi desenvolvido para tornar a representação dos dados mais eficiente, mas isso não significa que uma inteligência artificial necessariamente produzirá respostas mais precisas.
Uma estrutura tabular consistente pode facilitar a identificação de informações em listas extensas. Por outro lado, dados profundamente aninhados ou registros com campos diferentes podem reduzir essa vantagem.
O próprio projeto publica testes que avaliam a recuperação de informações, além da contagem de tokens.
Mas esses resultados são mantidos pelos responsáveis pelo TOON e não substituem avaliações independentes ou testes em aplicações reais.
🔎 O que realmente precisa ser medido: se o modelo continua encontrando os dados corretos, realizando cálculos adequados e interpretando registros incompletos depois da conversão.
Afinal, economizar tokens perde parte do sentido se a aplicação começar a responder incorretamente.
JSON ou TOON: qual escolher?
Apesar das vantagens apresentadas, os dois formatos não precisam competir diretamente.
O JSON continua sendo uma escolha consolidada para integração entre sistemas, armazenamento de dados e comunicação por APIs.
Já o TOON pode funcionar como uma camada adicional de otimização quando essas informações precisam ser inseridas no contexto de um modelo de inteligência artificial.
| Situação | Melhor ponto de partida |
|---|---|
| APIs e integrações entre sistemas | JSON |
| Armazenamento e troca de dados | JSON |
| Listas extensas com campos iguais em prompts | Testar TOON |
| Estruturas complexas e irregulares | JSON, com comparação |
| Tabelas simples e planas | Comparar CSV e TOON |
| Respostas com esquema obrigatório | Saídas estruturadas suportadas pelo provedor |
🛠️ Na prática: uma empresa pode continuar utilizando JSON em toda sua infraestrutura e converter determinados registros para TOON somente antes de enviá-los ao modelo de IA.
Isso evita uma migração desnecessária e concentra a otimização onde existe maior possibilidade de economia.
Como começar a utilizar o TOON?
O projeto disponibiliza uma implementação oficial para JavaScript e TypeScript, incluindo recursos de codificação e decodificação.
Um exemplo básico utiliza a função encode do pacote toon-format:
import { encode } from "toon-format";
const data = {
users: [
{ id: 1, name: "Ada", role: "admin" },
{ id: 2, name: "Lin", role: "user" },
{ id: 3, name: "Sam", role: "user" }
]
};
const toonText = encode(data);
console.log(toonText);
O código transforma os dados estruturados em uma representação TOON, que pode ser utilizada posteriormente em um prompt.
Antes de adotar o formato em produção, é importante verificar a versão da biblioteca, testar a conversão de ida e volta e confirmar que os dados permanecem equivalentes.
As implementações e a documentação estão disponíveis no repositório oficial do TOON no GitHub. A especificação do formato também está publicada separadamente.
E o que muda para os agentes de IA? 🤖
A popularização dos agentes de inteligência artificial torna essa discussão particularmente interessante.
Diferentemente de um chatbot que responde a uma pergunta isolada, um agente pode consultar bancos de dados, pesquisar documentos, analisar resultados de ferramentas e utilizar essas informações em diversas etapas de execução.
Cada etapa pode acrescentar novos dados ao contexto do modelo.
Quando essas informações incluem centenas de registros semelhantes, a repetição de campos em JSON pode aumentar o consumo de tokens.
💡 O maior potencial do TOON pode estar justamente nas aplicações que enviam grandes volumes de dados estruturados repetidamente para modelos de linguagem.
Isso não significa que todos os agentes devam abandonar o JSON.
O formato pode ser utilizado seletivamente em resultados de buscas, listagens e outras informações que apresentem estruturas regulares.
Também será necessário considerar os mecanismos de saída estruturada oferecidos pelos provedores. Uma representação compacta de entrada não substitui os recursos que garantem a conformidade das respostas com esquemas específicos.
Então o TOON vai substituir o JSON?
Por enquanto, não há motivos para considerar essa substituição inevitável.
O JSON possui um ecossistema maduro, compatibilidade com inúmeras ferramentas e utilização consolidada em praticamente todas as áreas do desenvolvimento de software.
O TOON surge com uma proposta mais específica: reduzir o desperdício de tokens quando dados estruturados são apresentados a modelos de inteligência artificial.
Sua eficiência depende do formato dos registros, do tokenizador e das características de cada aplicação.
E existe uma diferença importante entre demonstrar economia em um benchmark e obter ganhos reais em produção.
Para desenvolvedores, o próximo passo não é reescrever sistemas inteiros, mas testar as duas representações com dados reais, comparando consumo de tokens, custos, precisão e tempo de resposta.
Se os resultados forem positivos, a mudança pode acontecer de maneira quase invisível para os usuários.
No fim das contas, o JSON pode continuar transportando os dados entre sistemas, enquanto o TOON tenta fazer esses mesmos dados ocuparem menos espaço na conversa com a inteligência artificial.
