OpenAI demite contratados acusados de usar IA para treinar o próprio ChatGPT

Principais destaques

• Contratados foram dispensados: avaliadores teriam usado ferramentas de IA em tarefas que exigiam julgamento humano, segundo investigação da 404 Media.
• O controle vai além do detector de IA: supervisores procuram padrões como respostas rápidas demais, frases repetitivas e pontuação considerada suspeita.
• O problema é maior que uma fraude: usar IA para produzir avaliações pode criar um ciclo em que modelos aprendem com conteúdo gerado por outros modelos.

A OpenAI demitiu vários contratados envolvidos na avaliação e melhoria das respostas do ChatGPT depois de descobrir que alguns deles usavam ferramentas de inteligência artificial para realizar tarefas que deveriam depender exclusivamente de julgamento humano.

A informação foi publicada pela 404 Media em 22 de setembro, a partir de documentos internos e relatos de trabalhadores envolvidos no processo.

O caso expõe uma situação curiosa da indústria de IA: empresas estão pagando pessoas para ensinar os modelos a responder melhor, mas essas mesmas pessoas podem recorrer aos modelos para fazer o trabalho.

O trabalho era justamente ser humano 🤔

Os contratados fazem parte de uma enorme força de trabalho terceirizada utilizada nos processos de avaliação da OpenAI.

Documentos internos mencionados pela reportagem apontam para mais de 10 mil contratados envolvidos nos pipelines de avaliação da empresa.

O trabalho consiste, entre outras tarefas, em analisar conversas reais e anonimizadas do ChatGPT e avaliar a qualidade das respostas produzidas pelo modelo.

A avaliação pode seguir uma escala de 1 a 7, ajudando a gerar dados que posteriormente são utilizados para melhorar o comportamento dos sistemas.

🔎 O detalhe importante: a tarefa não era simplesmente verificar se uma resposta estava certa ou errada. O objetivo também envolvia aplicar julgamento humano sobre qualidade, utilidade e outros aspectos das respostas.

É justamente essa camada humana que a utilização de outra IA coloca em dúvida.

Projeto Lily e uma cadeia de terceirização

O trabalho estaria associado a uma iniciativa da OpenAI conhecida internamente como Projeto Lily.

Segundo os documentos citados pela 404 Media, os contratados são recrutados por meio da Crossing Hurdles e remunerados através da Mercor, empresa que atua no treinamento de sistemas de inteligência artificial.

Alguns trabalhadores chegariam a receber mais de US$ 50 por hora, dependendo das funções desempenhadas.

💡 O paradoxo é evidente: quanto mais importante é o julgamento humano para produzir dados de treinamento, mais problemática se torna a substituição desse julgamento por uma IA.

Usar IA podia significar demissão imediata 🚨

A utilização de modelos de linguagem pelos avaliadores não seria uma infração menor.

Um contratado ouvido pela 404 Media afirmou que pessoas flagradas usando IA em trabalhos de rotulagem eram dispensadas com frequência, descrevendo a prática como praticamente a única infração capaz de provocar uma remoção imediata do projeto.

Outro trabalhador compartilhou o que descreveu como uma carta de demissão na qual a preocupação com a “autenticidade” do trabalho aparecia como justificativa.

A Mercor confirmou à publicação que seus contratos proíbem trabalhadores de utilizar modelos de linguagem de grande escala nas tarefas e que os infratores são imediatamente retirados dos projetos.

E não é o GPTZero que está procurando os trapaceiros 👀

Um dos pontos mais interessantes da investigação está na maneira como o suposto uso de IA é identificado.

As diretrizes internas obtidas pela 404 Media orientam os supervisores a não depender de ferramentas automáticas de detecção de IA, como o GPTZero.

A razão apontada é a falta de confiabilidade desses sistemas.

Em vez disso, os supervisores são orientados a observar padrões no comportamento dos avaliadores.

Entre os sinais considerados suspeitos estão:

• frases excessivamente repetitivas;
• tempos de conclusão incomumente rápidos;
• pontuações excessivas;
• determinados padrões de escrita;
• uso exagerado de travessões.

Os trabalhadores também não seriam informados sobre exatamente quais características levaram à identificação do comportamento suspeito.

A lógica é simples: revelar todos os sinais permitiria que alguém adaptasse seu texto para tentar escapar do sistema.

O problema começa quando a IA aprende com a IA

Aqui aparece uma questão muito maior do que simplesmente descobrir quem trapaceou.

Modelos de inteligência artificial precisam de dados para serem treinados e aprimorados. Quando esses dados são produzidos por pessoas, existe uma fonte externa ao próprio modelo.

Mas o cenário muda quando uma IA passa a gerar o conteúdo que será utilizado para avaliar ou treinar outra IA.

Pesquisas sobre treinamento recursivo já discutiram os riscos desse processo, incluindo o fenômeno conhecido como “maldição da recursão”, no qual modelos podem perder diversidade e qualidade quando passam repetidamente a aprender a partir de conteúdo gerado por máquinas.

No caso dos avaliadores da OpenAI, a preocupação é particularmente sensível.

Se um trabalhador deveria registrar sua avaliação sobre uma resposta do ChatGPT, mas pede ao próprio ChatGPT para produzir essa avaliação, o sistema deixa de receber uma opinião humana independente.

A máquina pode acabar ajudando a fabricar o julgamento humano usado para melhorar a própria máquina.

É um circuito difícil de ignorar.

E se alguém estiver tentando piorar a IA? 😬

A investigação encontrou ainda outro problema.

Pelo menos um contratado teria admitido que selecionava deliberadamente as piores respostas durante as avaliações.

A pessoa descreveu a experiência como ser paga para “piorar a IA”.

Não está claro qual foi o impacto dessa prática nos conjuntos de dados utilizados pela OpenAI. Sistemas de avaliação podem reunir respostas de centenas ou milhares de trabalhadores, o que torna difícil determinar, apenas a partir desse relato, quanto uma ação individual teria afetado o resultado final.

Mas existe um problema de incentivo importante.

💸 Quando o trabalho depende de volume, produtividade e remuneração: a qualidade do julgamento pode entrar em conflito com a pressão para concluir tarefas rapidamente.

E isso vale tanto para quem tenta burlar o sistema usando IA quanto para quem deliberadamente fornece avaliações ruins.

O elo mais frágil pode estar entre o modelo e o humano

A história também revela uma dependência menos visível da corrida pela inteligência artificial.

Por trás de modelos capazes de gerar textos, imagens, códigos e respostas cada vez mais sofisticadas existe uma enorme infraestrutura de trabalhadores responsáveis por avaliar resultados, comparar alternativas e indicar o que deveria ser considerado uma boa resposta.

Esse trabalho humano funciona como uma espécie de filtro.

Quando esse filtro é comprometido, seja pelo uso de IA, por incentivos inadequados ou por avaliações deliberadamente incorretas, o problema não necessariamente aparece imediatamente para o usuário.

Ele pode entrar silenciosamente nos dados usados para melhorar o modelo.

🔄 E aí surge o verdadeiro paradoxo: a indústria precisa de humanos para avaliar a IA justamente porque ainda não consegue confiar completamente na IA para avaliar a si mesma.

O episódio envolvendo os contratados da OpenAI mostra como essa fronteira está ficando cada vez mais difícil de manter. Quanto mais modelos participam do trabalho de produzir, revisar e avaliar conteúdo, maior fica a necessidade de saber exatamente quem está fazendo o julgamento e de onde veio a resposta.

No fim, a corrida para automatizar o trabalho de treinamento pode esbarrar em uma velha exigência: ainda precisamos saber quando existe uma pessoa do outro lado.