- A inteligência artificial virou uma arma para esconder conteúdo ilegal
- A mesma IA usada para proteger plataformas também está sendo usada pelos criminosos
- O nascimento de uma nova modalidade de extorsão
- O recado para Apple, Google e toda a indústria de IA
- A guerra entre IA ofensiva e IA defensiva está apenas começando
Principais destaques
- Pavel Durov afirma que criminosos utilizaram conteúdo ilegal modificado por inteligência artificial para enganar os sistemas de moderação e provocar a remoção do Telegram da App Store.
- O episódio mostra como a IA deixou de ser apenas uma ferramenta de defesa das plataformas e passou a ser usada também por criminosos para burlar mecanismos automatizados.
- O caso pode representar um novo desafio para empresas como Apple, Meta, Google e qualquer serviço que dependa de conteúdo publicado pelos próprios usuários.
A inteligência artificial acaba de ganhar mais um capítulo na disputa entre segurança digital e cibercrime. Desta vez, o centro da discussão é o Telegram.
O fundador da plataforma, Pavel Durov, afirmou que a remoção temporária do aplicativo da App Store aconteceu depois que um criminoso utilizou uma técnica baseada em conteúdo modificado por IA para enganar tanto os sistemas internos da plataforma quanto o processo de análise da Apple.
Segundo Durov, o Telegram foi retirado da loja de aplicativos por algumas horas depois que a Apple identificou a presença de material ilegal relacionado à exploração sexual infantil em um grupo público.
A empresa restaurou o aplicativo rapidamente após a remoção do conteúdo e o banimento da conta responsável. A Apple confirmou que a retirada ocorreu devido à violação de suas rígidas políticas sobre esse tipo de material.
Para Durov, porém, o caso vai muito além de um simples episódio de moderação. Na visão do executivo, trata-se do surgimento de uma nova geração de ataques digitais, em que a inteligência artificial deixa de ser apenas uma ferramenta para proteger plataformas e passa a ser utilizada pelos próprios criminosos para explorar vulnerabilidades técnicas.
A inteligência artificial virou uma arma para esconder conteúdo ilegal
De acordo com o fundador do Telegram, o atacante não publicou simplesmente um arquivo proibido em um grupo público. Isso seria facilmente detectado pelos mecanismos automáticos da plataforma e rapidamente denunciado pelos próprios usuários.
Em vez disso, o criminoso teria recorrido a uma estratégia muito mais sofisticada. Ele editou uma mensagem antiga que já existia em um grupo bastante movimentado e substituiu seu conteúdo por uma versão modificada com auxílio de inteligência artificial.
Como a alteração ocorreu em uma mensagem antiga, praticamente ninguém do grupo visualizou a mudança. Sem visualizações, também não houve denúncias por parte da comunidade, permitindo que o próprio criminoso notificasse diretamente a Apple antes que os sistemas tradicionais de moderação identificassem o problema.
Segundo Durov, esse método transforma a IA em uma ferramenta para criar conteúdo especificamente desenhado para escapar de mecanismos automáticos de detecção e reduzir a chance de ser percebido por usuários humanos.
Embora ele não detalhe qual tecnologia de IA teria sido utilizada, especialistas apontam que modelos generativos atuais conseguem alterar imagens, remover marcas conhecidas por sistemas de hash, modificar padrões visuais e produzir versões suficientemente diferentes para dificultar a identificação automática. Essa corrida tecnológica já vem sendo observada em diversas áreas da cibersegurança.
A mesma IA usada para proteger plataformas também está sendo usada pelos criminosos
O episódio chama atenção justamente porque o Telegram investe há anos em inteligência artificial para moderação.
Recentemente, a empresa publicou um panorama detalhando seus sistemas de segurança, afirmando que utiliza IA, algoritmos de detecção automática, hashes de imagens, cruzamento de denúncias de usuários e equipes humanas para remover conteúdos ilegais. Segundo Durov, aproximadamente 1 milhão de grupos e canais e mais de 10 milhões de contas são removidos todos os meses por violarem as regras da plataforma.
No caso específico de exploração sexual infantil, a empresa afirma ter bloqueado quase 338 mil grupos e canais apenas em 2026, utilizando ferramentas automatizadas de identificação e cooperação com organizações especializadas.
O problema, segundo Durov, é que essa evolução tecnológica não acontece apenas do lado das empresas.
Grupos especializados em ataques digitais também passaram a utilizar inteligência artificial para criar conteúdos mais difíceis de detectar, automatizar contas falsas, modificar arquivos proibidos e explorar falhas existentes nos próprios processos de moderação.
Em outras palavras, a IA iniciou uma espécie de corrida armamentista digital, em que algoritmos combatem outros algoritmos.
O nascimento de uma nova modalidade de extorsão
Outro ponto revelado por Durov chamou atenção da comunidade de segurança digital.
Segundo ele, o responsável pelo ataque fazia parte de um grupo de extorsionistas especializados em derrubar comunidades online.
O funcionamento seria relativamente simples.
Primeiro, contas automatizadas infiltram conteúdo ilegal em grupos públicos.
Depois, esse mesmo conteúdo é denunciado diretamente às lojas de aplicativos ou aos responsáveis pelas plataformas.
Na sequência, os administradores dos grupos recebem ameaças exigindo pagamento para evitar novos ataques semelhantes.
Na prática, não é apenas um ataque contra o Telegram, mas contra qualquer comunidade construída ao longo de anos.
Para Durov, a sofisticação dessas operações demonstra que o foco deixou de ser apenas espalhar conteúdo ilegal. O objetivo passou a ser manipular os próprios mecanismos de confiança utilizados pelas grandes empresas de tecnologia.
O recado para Apple, Google e toda a indústria de IA
Talvez a principal mensagem deixada por Durov não tenha sido direcionada aos usuários do Telegram, mas às empresas responsáveis pelas maiores plataformas digitais do mundo.
Segundo ele, a Apple removeu o aplicativo da App Store antes mesmo de entrar em contato com sua equipe, criando um precedente preocupante.
Se criminosos conseguirem manipular processos automatizados utilizando inteligência artificial, qualquer aplicativo baseado em conteúdo gerado pelos usuários poderá ser alvo do mesmo tipo de ataque.
Isso inclui redes sociais, fóruns, aplicativos de mensagens, plataformas de vídeo e até serviços corporativos.
O episódio também reforça um desafio que já preocupa pesquisadores da área de IA: modelos generativos estão se tornando capazes de produzir conteúdo sintético suficientemente diferente para escapar de sistemas tradicionais baseados apenas em assinaturas digitais ou reconhecimento de padrões.
Por isso, especialistas defendem que a próxima geração de moderação dependerá cada vez mais de modelos multimodais capazes de analisar contexto, histórico da publicação, comportamento das contas envolvidas e sinais de manipulação, em vez de confiar apenas na identificação direta do conteúdo.
A guerra entre IA ofensiva e IA defensiva está apenas começando
O caso do Telegram representa um exemplo claro da transformação que a inteligência artificial está provocando na segurança digital.
Durante anos, plataformas utilizaram IA para acelerar a identificação de spam, golpes, terrorismo, pornografia infantil e campanhas coordenadas.
Agora, essas mesmas tecnologias passaram a ser utilizadas pelos criminosos para criar ataques muito mais sofisticados.
O resultado é uma corrida tecnológica permanente, na qual cada avanço dos sistemas de proteção gera rapidamente novas técnicas para tentar contorná-los.
Para o Telegram, o episódio terminou em poucas horas, com a restauração do aplicativo na App Store. Mas o alerta deixado por Pavel Durov permanece relevante: a disputa entre inteligência artificial usada para proteger usuários e inteligência artificial utilizada para enganar sistemas automatizados tende a se tornar um dos principais desafios da internet nos próximos anos.
