Principais destaques
👁️ Visão computacional mais flexível
O SAM 3 consegue detectar, segmentar e acompanhar objetos usando texto, exemplos visuais ou comandos tradicionais, como pontos, caixas e máscaras.
🧠 Mais de 4 milhões de conceitos no treinamento
A Meta criou uma gigantesca base de dados com conceitos visuais variados para ensinar o modelo a reconhecer muito mais do que categorias simples como “pessoa”, “carro” ou “cachorro”.
⚡ SAM 3.1 acelera o trabalho com vídeos
A atualização lançada em março de 2026 permite acompanhar até 16 objetos em uma única passagem do modelo e pode chegar a 32 quadros por segundo em uma GPU H100.
A inteligência artificial está ficando cada vez melhor em entender textos, imagens e vídeos. Mas existe uma diferença importante entre reconhecer uma imagem e realmente entender onde cada elemento está dentro dela.
É justamente nesse segundo problema que entra o Segment Anything Model 3, ou SAM 3, desenvolvido pela Meta.
O projeto representa uma nova etapa da família Segment Anything, iniciada pela Meta em 2023. A proposta original era tornar a segmentação de imagens muito mais simples. Em vez de criar um modelo específico para cada tipo de objeto, a ideia era desenvolver uma IA capaz de separar praticamente qualquer elemento de uma imagem a partir de uma instrução.
O SAM 3 leva esse conceito mais longe.
Agora, o sistema não precisa receber apenas um ponto ou uma caixa indicando onde está determinado objeto. Ele pode receber uma descrição como “ônibus escolar amarelo”, um exemplo visual ou uma combinação dos dois e tentar encontrar todas as ocorrências correspondentes na imagem ou no vídeo.
E existe uma diferença importante nessa proposta: o modelo não está apenas procurando uma categoria genérica. Ele trabalha com conceitos visuais em um vocabulário aberto.
É uma mudança que aproxima a visão computacional da maneira como as pessoas naturalmente descrevem aquilo que estão vendo.
O que exatamente o SAM 3 faz?
Antes de entrar nos detalhes técnicos, vale entender o que significa “segmentar” uma imagem.
Imagine uma fotografia de uma rua movimentada.
Há carros, pessoas, árvores, prédios, placas, bicicletas e diversos outros elementos. Um sistema tradicional de reconhecimento de imagem pode dizer que existe um carro naquela cena.
A segmentação vai muito além.
Ela tenta determinar quais pixels pertencem ao carro.
Isso permite criar uma espécie de recorte digital preciso do objeto, separando-o do restante da imagem. Em vídeos, o desafio fica ainda maior porque o sistema precisa continuar identificando aquele elemento conforme ele se move, muda de posição, fica parcialmente escondido ou aparece em diferentes condições de iluminação.
Foi justamente para facilitar esse tipo de tarefa que a Meta criou a família Segment Anything.
O primeiro SAM, apresentado em 2023, introduziu a ideia de uma segmentação orientada por prompts. O usuário podia fornecer pontos, caixas ou outras indicações para informar à IA o que deveria ser separado. A Meta também lançou o enorme conjunto de dados SA-1B, com mais de 1 bilhão de máscaras de segmentação, como parte desse esforço para transformar a segmentação em uma espécie de modelo fundamental de visão computacional.
O SAM 2, lançado posteriormente, levou a ideia para vídeos, permitindo acompanhar objetos ao longo do tempo.
O SAM 3 muda novamente a lógica.
A diferença está no conceito
Em vez de simplesmente dizer:
“Encontre este objeto.”
o usuário pode dizer:
“Encontre todos os guarda-chuvas vermelhos.”
Ou:
“Encontre pessoas usando roupas brancas.”
Ou ainda fornecer uma imagem como exemplo para mostrar visualmente aquilo que deseja localizar.
O modelo então tenta encontrar e segmentar todas as instâncias correspondentes ao conceito.
A Meta chama essa capacidade de Promptable Concept Segmentation, ou segmentação de conceitos orientada por prompts.
Isso parece uma mudança pequena na descrição, mas é bastante importante para quem trabalha com visão computacional.
Modelos tradicionais frequentemente são treinados para reconhecer um conjunto relativamente fechado de categorias. O SAM 3 foi desenvolvido para lidar com um vocabulário muito mais aberto.
💡 Em termos simples:
o SAM 3 tenta transformar uma frase curta em uma busca visual precisa dentro de uma imagem ou vídeo.
Essa capacidade também permite que o modelo seja usado como uma ferramenta para outros sistemas de IA.
Um modelo multimodal pode interpretar uma pergunta mais complexa, transformá-la em conceitos visuais menores e então utilizar o SAM 3 para localizar esses elementos.
A própria Meta demonstrou um sistema chamado SAM 3 Agent, no qual um modelo multimodal pode decompor perguntas mais complexas em consultas que o SAM 3 consegue processar.
Isso cria uma arquitetura interessante: uma IA entende a intenção do usuário e outra é responsável por localizar visualmente aquilo que foi solicitado.
Como a Meta treinou uma IA para reconhecer tantos conceitos?
Aqui está uma das partes mais interessantes do projeto.
Criar um modelo capaz de encontrar milhões de conceitos diferentes exige uma quantidade enorme de dados. E existe um problema: simplesmente coletar imagens da internet não é suficiente.
Para ensinar uma IA a segmentar um objeto, não basta mostrar a fotografia.
É necessário indicar exatamente onde o objeto está.
Em uma imagem com cinco pessoas, por exemplo, seria necessário produzir máscaras correspondentes a cada uma delas. Em um vídeo, a tarefa fica ainda mais trabalhosa porque essas máscaras precisam acompanhar os objetos ao longo dos quadros.
Fazer isso manualmente em milhões de imagens seria extremamente caro e demorado.
A Meta resolveu esse problema construindo um data engine, uma espécie de linha de produção de dados que combina inteligência artificial com trabalho humano.
O sistema utiliza modelos de IA para analisar imagens e vídeos, gerar descrições, identificar possíveis conceitos e produzir máscaras iniciais. Depois, humanos e outros modelos verificam e corrigem essas informações.
A empresa afirma que esse processo permitiu criar um conjunto de treinamento com mais de 4 milhões de conceitos únicos.
O ciclo entre IA e humanos
O processo pode ser entendido de maneira simplificada assim:
Imagem ou vídeo
↓
IA identifica possíveis objetos e conceitos
↓
Máscaras iniciais são produzidas
↓
IA e humanos verificam os resultados
↓
Erros são corrigidos
↓
Dados melhores retornam ao treinamento
↓
SAM 3 aprende a reconhecer mais situações
Esse modelo híbrido é importante porque permite usar a própria inteligência artificial para acelerar a produção dos dados necessários para treinar sistemas ainda melhores.
Segundo a Meta, a combinação de humanos e IA tornou a anotação aproximadamente cinco vezes mais rápida em prompts negativos, quando o conceito procurado não está presente, e 36% mais rápida em prompts positivos em domínios mais difíceis. A empresa também afirma que a abordagem mais que dobrou a produtividade em comparação com um processo exclusivamente humano.
Há ainda outro detalhe interessante.
A Meta utilizou uma ontologia de conceitos, baseada em relações entre conceitos, para ampliar a cobertura do conjunto de dados. A ideia é ajudar o sistema a relacionar diferentes termos e conceitos dentro de um espaço visual comum.
Isso ajuda a explicar por que o projeto não é apenas uma atualização de um modelo anterior.
Existe uma infraestrutura inteira de dados por trás dele.
O benchmark também ficou maior
Para medir se o modelo realmente conseguia lidar com esse vocabulário mais amplo, a Meta criou o Segment Anything with Concepts, ou SA-Co.
O benchmark contém aproximadamente 270 mil conceitos únicos, mais de 50 vezes a quantidade encontrada em benchmarks anteriores, segundo a empresa.
Nesse teste, o SAM 3 alcançou entre 75% e 80% do desempenho humano, de acordo com os resultados divulgados pela Meta. A empresa também afirma que o modelo obteve um ganho de aproximadamente duas vezes sobre sistemas anteriores na tarefa de segmentação de conceitos em imagens e vídeos.
Isso é especialmente relevante porque benchmarks menores podem esconder as dificuldades reais de um sistema.
Reconhecer “cachorro” em uma imagem relativamente simples é uma coisa.
Reconhecer corretamente uma descrição específica, localizar todas as ocorrências e separar cada uma delas em ambientes diferentes é outra.
O SA-Co foi criado justamente para testar esse segundo cenário.
SAM 3.1 resolve um problema importante nos vídeos
O lançamento do SAM 3 aconteceu em novembro de 2025. Alguns meses depois, em 27 de março de 2026, a Meta apresentou o SAM 3.1, uma atualização focada principalmente na eficiência do processamento de vídeos.
A mudança tem uma justificativa bastante prática.
Imagine um vídeo com uma multidão.
Se você quiser acompanhar 10 pessoas diferentes, o sistema precisa manter a identidade visual de cada uma delas ao longo dos quadros. Fazer isso separadamente para cada objeto pode aumentar rapidamente o custo computacional.
No SAM 3, o rastreamento de objetos era realizado de maneira que o custo aumentava conforme o número de objetos acompanhados.
O SAM 3.1 introduziu o chamado Object Multiplexing.
A ideia é compartilhar informações entre os objetos e processá-los conjuntamente.
De vários processos para uma única passagem
No funcionamento anterior, cada objeto acompanhado podia exigir seu próprio processamento.
O SAM 3.1 consegue acompanhar até 16 objetos em uma única passagem do modelo, segundo a Meta.
Em vídeos com uma quantidade média de objetos, a empresa afirma que isso pode dobrar a velocidade de processamento, passando de aproximadamente 16 para 32 quadros por segundo em uma única GPU H100.
| Recurso | SAM 3 | SAM 3.1 |
|---|---|---|
| Imagens | Segmentação por conceitos | Mantém a capacidade |
| Vídeos | Detecção e rastreamento | Detecção e rastreamento mais eficiente |
| Prompts de texto | Sim | Sim |
| Exemplos visuais | Sim | Sim |
| Rastreamento múltiplo | Processamento separado | Até 16 objetos por passagem |
| Foco da evolução | Compreensão visual | Eficiência e rastreamento |
A mudança pode parecer técnica, mas tem consequências práticas.
Quanto menos processamento for necessário para acompanhar vários objetos, menor pode ser o custo computacional de uma aplicação. Isso pode tornar determinadas experiências viáveis em equipamentos mais acessíveis, além de melhorar o desempenho em vídeos complexos.
E essa é uma tendência importante na evolução dos modelos de visão.
Não basta uma IA ser precisa.
Ela também precisa ser rápida, eficiente e barata o suficiente para funcionar em aplicações reais.
Onde o SAM 3 pode ser usado?
Uma tecnologia como essa pode parecer distante do usuário comum, mas as possibilidades são bastante concretas.
🎬 Edição de vídeo
Imagine selecionar uma pessoa em um vídeo e aplicar um efeito somente nela.
Ou escolher um carro e criar um rastro de movimento.
Ou identificar automaticamente placas, rostos ou telas para aplicar um efeito de desfoque ou pixelização.
O Segment Anything Playground da Meta já apresenta experiências desse tipo. A plataforma permite carregar imagens e vídeos e testar aplicações como pixelização de rostos, placas e telas, além de efeitos visuais direcionados a objetos específicos.
A diferença é que tarefas que antes poderiam exigir uma edição quadro a quadro começam a ser transformadas em uma interação muito mais simples.
🛍️ Comércio eletrônico
Outra aplicação interessante aparece no varejo.
A Meta afirma que SAM 3 e SAM 3D estão sendo usados no Facebook Marketplace em recursos que ajudam usuários a visualizar itens de decoração em seus próprios ambientes.
Isso aproxima segmentação visual de uma experiência de compra.
Em vez de simplesmente reconhecer que existe uma mesa em uma fotografia, uma IA pode separar a mesa do restante da cena e permitir que outros sistemas trabalhem com aquele objeto.
👗 Moda
O potencial também aparece em aplicativos de moda.
A Meta relata que a aplicação Alta Daily utiliza modelos da família Segment Anything para segmentar peças de roupa e transformar fotografias de um guarda-roupa em elementos digitais que podem ser organizados e utilizados em recomendações de looks.
Esse tipo de aplicação mostra uma característica importante da segmentação.
A IA não precisa necessariamente “entender moda” para ser útil.
Ela precisa conseguir separar corretamente uma camiseta, um tênis, uma calça ou um acessório.
Depois, outros modelos podem trabalhar sobre essas informações.
🐆 Conservação ambiental
Talvez uma das aplicações mais interessantes esteja longe das redes sociais.
A Meta também relata o uso do SAM 3 em projetos de monitoramento de animais selvagens. Em parceria com a Conservation X Labs e a Osa Conservation, a empresa participou da criação do conjunto de dados SA-FARI, com mais de 10 mil vídeos de câmeras automáticas e mais de 100 espécies.
Nesse cenário, a segmentação pode ajudar pesquisadores a localizar animais em gravações extensas e transformar grandes volumes de vídeo em dados mais fáceis de analisar.
Esse é um bom exemplo de como uma tecnologia criada para visão computacional pode acabar sendo aplicada em áreas que não têm relação direta com edição de fotos.
🔬 Ciência e pesquisa
A segmentação também pode ser extremamente útil em imagens científicas.
A própria Meta cita aplicações relacionadas à análise de imagens científicas e à colaboração com instituições envolvidas no Genesis Mission, em que SAM 3 e DINOv3 fazem parte de uma infraestrutura voltada à análise de dados de experimentos de raios X e nêutrons.
Aqui aparece uma das grandes promessas desse tipo de modelo.
Se uma ferramenta consegue reduzir o trabalho manual necessário para identificar estruturas dentro de milhares de imagens, pesquisadores podem gastar menos tempo desenhando máscaras e mais tempo interpretando os resultados.
Mas o SAM 3 não entende tudo
É importante não transformar o avanço em uma ideia exagerada de que a IA agora “enxerga como um ser humano”.
O próprio material da Meta aponta limitações.
O SAM 3 funciona particularmente bem com prompts curtos e conceitos visuais abertos, mas ainda enfrenta dificuldades com conceitos muito específicos fora do domínio em que foi treinado. Um exemplo citado pela própria empresa envolve termos especializados, como “platelet”, em imagens médicas ou científicas.
Isso significa que pedir algo extremamente específico em uma área de conhecimento especializada pode produzir resultados menos confiáveis.
Existe uma solução.
A Meta afirma que o modelo consegue se adaptar rapidamente a novos conceitos e domínios quando recebe pequenas quantidades de dados anotados para ajuste fino, o chamado fine-tuning. O repositório oficial também disponibiliza recursos para esse tipo de adaptação.
Outro limite está na linguagem.
O SAM 3 trabalha muito bem com frases curtas, como “livro de capa dura” ou “ônibus escolar amarelo”. Mas a Meta explica que o modelo, sozinho, não foi projetado para interpretar qualquer descrição longa e complexa.
Uma frase como:
“O segundo livro da direita na prateleira de cima”
já envolve uma combinação de localização, contagem, ordem espacial e raciocínio.
Para esse tipo de situação, a Meta mostra que o SAM 3 pode ser combinado com modelos multimodais maiores.
É aí que a história fica ainda mais interessante.
SAM 3 pode virar os olhos de outras IAs
Uma maneira útil de pensar no SAM 3 é imaginar que ele não precisa ser o “cérebro” de uma aplicação.
Ele pode funcionar como os olhos.
Um modelo de linguagem multimodal pode receber a pergunta do usuário, interpretar o que está sendo solicitado e transformar essa intenção em consultas visuais.
O SAM 3 recebe essas consultas e devolve máscaras.
O modelo multimodal então analisa os resultados e pode fazer novas perguntas ao SAM 3.
Esse ciclo permite criar sistemas muito mais sofisticados.
Usuário:
“Qual objeto da imagem é usado para conduzir um cavalo?”
Modelo multimodal:
Interpreta a pergunta e cria possíveis conceitos.
SAM 3:
Localiza objetos correspondentes.
Modelo multimodal:
Analisa os resultados e escolhe aquele que melhor responde à pergunta.
A Meta apresentou justamente uma abordagem desse tipo com o SAM 3 Agent. Segundo a empresa, o sistema conseguiu superar trabalhos anteriores em benchmarks de segmentação que exigem raciocínio, mesmo sem ter sido treinado diretamente nesses conjuntos específicos de dados.
Isso ajuda a explicar por que a evolução do SAM 3 é maior do que simplesmente melhorar um recortador de imagens.
Ele pode se tornar uma peça de infraestrutura para sistemas multimodais.
O que muda para quem está aprendendo IA?
Para quem acompanha inteligência artificial, o SAM 3 é um ótimo exemplo de uma mudança que está acontecendo em toda a indústria.
Durante muito tempo, modelos de visão eram pensados em termos de tarefas muito específicas.
Um modelo reconhecia objetos.
Outro fazia classificação.
Outro fazia detecção.
Outro fazia segmentação.
Outro acompanhava objetos em vídeos.
A tendência dos modelos fundacionais é juntar várias dessas capacidades em uma arquitetura mais flexível.
O SAM 3 tenta fazer exatamente isso no campo da segmentação.
Ele reúne detecção, segmentação e rastreamento em imagens e vídeos, enquanto adiciona uma camada de interação baseada em linguagem e exemplos visuais.
Isso também explica por que o conceito de prompt deixou de ser exclusivo dos modelos de linguagem.
Em visão computacional, um prompt pode ser uma palavra, uma frase curta, uma imagem, um ponto, uma caixa ou uma máscara.
A pergunta passa a ser:
“Como eu descrevo para a IA aquilo que quero que ela encontre?”
Essa mudança parece simples, mas é fundamental.
📌 Para guardar
Segmentação é diferente de simples reconhecimento.
Reconhecer significa dizer o que existe. Segmentar significa identificar quais pixels pertencem a cada objeto.
SAM 3 trabalha com conceitos abertos.
Em vez de depender apenas de uma lista fixa de categorias, ele pode receber descrições curtas ou exemplos visuais para procurar aquilo que o usuário deseja.
SAM 3.1 mira o gargalo dos vídeos.
A atualização introduz o Object Multiplexing para acompanhar vários objetos simultaneamente e reduzir o custo computacional do rastreamento.
Como experimentar o SAM 3?
Para desenvolvedores e pesquisadores, a Meta disponibilizou o código do projeto no GitHub, além de checkpoints, exemplos e ferramentas para inferência e fine-tuning. O repositório também recebeu a atualização necessária para trabalhar com os checkpoints do SAM 3.1.
O ambiente, porém, está longe de ser leve.
A documentação atual do projeto exige Python 3.12 ou superior, PyTorch 2.7 ou superior e uma GPU compatível com CUDA 12.6 ou mais recente. A própria documentação apresenta uma instalação baseada em Conda e PyTorch com suporte a CUDA.
Para quem não quer configurar uma máquina para rodar o modelo, existe uma alternativa mais simples: o Segment Anything Playground.
A plataforma foi criada pela Meta justamente para permitir que pessoas experimentem os modelos sem precisar começar pela instalação de um ambiente de desenvolvimento. É possível carregar imagens ou vídeos e testar diferentes recursos de segmentação e edição.
Para quem está estudando IA, esse tipo de ferramenta é particularmente interessante porque permite observar a diferença entre reconhecimento, detecção, segmentação e rastreamento na prática.
E essa distinção é importante.
Um sistema pode saber que existe uma pessoa na imagem.
Outro pode desenhar uma caixa ao redor dela.
Um terceiro pode separar exatamente o contorno do corpo.
E um sistema ainda mais avançado pode continuar fazendo isso enquanto a pessoa caminha pelo vídeo.
O SAM 3 tenta reunir essas capacidades e permitir que o usuário diga o que procura de uma forma cada vez mais natural.
A próxima fronteira é fazer a IA entender cenas inteiras
O caminho percorrido pela família Segment Anything mostra uma transformação interessante.
Em 2023, a grande ideia era permitir que uma IA segmentasse praticamente qualquer objeto a partir de prompts visuais.
Depois, a tecnologia avançou para vídeos.
Agora, com o SAM 3, a linguagem entra de maneira muito mais central na tarefa.
E com o SAM 3.1, a Meta começa a atacar outro problema fundamental: fazer tudo isso com eficiência suficiente para lidar com cenas mais complexas e vários objetos ao mesmo tempo.
O resultado é uma tecnologia que pode parecer invisível para o usuário final, mas que pode se tornar extremamente importante nos bastidores de ferramentas de edição, robótica, comércio eletrônico, ciência, realidade aumentada e sistemas multimodais.
Talvez a mudança mais importante esteja justamente na forma de interação.
Em vez de ensinar à máquina exatamente onde está cada objeto, a tendência é permitir que ela receba uma intenção humana e descubra visualmente onde essa intenção se aplica.
É uma diferença enorme entre “aponte para o objeto” e “encontre os objetos que estou descrevendo”.
E, para a evolução da visão computacional, esse pode ser um dos passos mais importantes em direção a máquinas que não apenas identificam o que aparece diante delas, mas conseguem trabalhar com aquilo que estamos tentando encontrar.
Para acompanhar: o código e os recursos oficiais do projeto estão disponíveis no repositório do SAM 3 no GitHub, enquanto a Meta também oferece o Playground para experimentar a tecnologia sem começar pela configuração local.
