OpenAI quer colocar avaliadores externos dentro do processo de criação de seus modelos

Renê Fraga
8 min de leitura

Principais destaques

  • Avaliação mais cedo: organizações externas poderão analisar a segurança de modelos da OpenAI durante etapas mais iniciais de treinamento, avaliação e lançamento.
  • Independência sob pressão: a empresa estabeleceu requisitos como independência, rigor científico, segurança e responsabilidades claramente definidas para essas avaliações.
  • A indústria está acelerando: a iniciativa chega em meio a propostas de OpenAI e Anthropic para ampliar a supervisão de modelos de fronteira e estabelecer padrões de segurança.

A ideia parece simples, mas mexe em um dos pontos mais sensíveis do desenvolvimento de IA: quem verifica se um modelo está seguro antes que ele chegue ao público?

A OpenAI anunciou nesta terça-feira que pretende permitir que organizações externas realizem avaliações técnicas de segurança em seus modelos mais cedo no ciclo de desenvolvimento. Isso inclui fases de treinamento, avaliação e preparação para lançamento.

Até agora, grande parte da discussão sobre segurança de modelos de ponta girava justamente em torno da independência dessas verificações. Quanto mais poderoso o sistema, maior a dificuldade de confiar apenas nos testes conduzidos pela própria empresa que o desenvolveu.

A avaliação deixa de ser apenas uma etapa final 🔎

A proposta da OpenAI é aproximar avaliadores externos das fases em que os modelos ainda estão sendo desenvolvidos.

Na prática, isso pode permitir que problemas de segurança sejam identificados antes que um sistema esteja praticamente pronto para chegar aos usuários.

🧪 A exigência é maior do que simplesmente “testar”: segundo a empresa, avaliações externas precisam contar com mecanismos robustos de independência, rigor científico, práticas sólidas de segurança e responsabilidades claramente definidas.

A OpenAI apresentou essas condições em uma publicação em seu blog, em um momento no qual os principais laboratórios de IA estão sendo pressionados a explicar melhor como avaliam sistemas cada vez mais capazes.

E isso acontece justamente agora

A movimentação não está isolada.

Na segunda-feira, a própria OpenAI publicou outro conjunto de propostas relacionado à pesquisa de alinhamento e ao chamado autoaperfeiçoamento recursivo, ou RSI, sigla para recursive self-improvement.

A empresa defendeu cooperação internacional para estabelecer padrões voltados a modelos de fronteira.

“O RSI totalmente autônomo não está acontecendo hoje, e não devemos buscá-lo a menos que e até que possa ser feito com segurança.”

A declaração coloca uma questão importante no centro do debate: não basta perguntar o que um modelo consegue fazer. Também é necessário estabelecer em que condições seu desenvolvimento deve avançar.

A Anthropic entrou na mesma conversa 🤝

Na semana passada, a Anthropic apresentou propostas próprias para tornar o desenvolvimento de modelos de fronteira mais seguro.

O debate ganhou força depois que o pesquisador Jacob Coxon deixou a empresa e afirmou que os laboratórios de IA estavam “apostando com nossas vidas”.

Posteriormente, o CEO da Anthropic, Dario Amodei, defendeu que as empresas reduzissem o ritmo de desenvolvimento e propôs a presença de avaliadores terceirizados dentro das organizações.

Ou seja, as duas empresas estão discutindo mecanismos diferentes para atacar uma preocupação semelhante: como criar uma camada de fiscalização que não dependa exclusivamente da equipe que está construindo o modelo?

Mas quem fiscaliza os fiscais? 👀

É aí que começa a parte mais complicada.

Uma coalizão formada por mais de 100 avaliadores de IA pediu recentemente que desenvolvedores de modelos de ponta adotassem condições mínimas para auditorias independentes.

Entre as demandas estão:

• acesso mais amplo aos sistemas avaliados;

• proteção contra retaliações para pesquisadores que publiquem conclusões desfavoráveis;

• condições que permitam avaliações realmente independentes.

Esses pontos são importantes porque uma auditoria só é tão independente quanto o acesso e as garantias concedidas a quem está realizando o trabalho.

🔐 O detalhe que pode fazer diferença: se um avaliador depender da empresa avaliada para ter acesso aos modelos, dados ou recursos necessários para a investigação, sua autonomia pode ficar limitada na prática.

O dinheiro também está no centro da discussão 💰

A pressão ocorre enquanto a indústria se prepara para investimentos gigantescos em infraestrutura de IA.

Estimativas citadas pela Axios apontam para mais de US$ 7 trilhões em investimentos na expansão da inteligência artificial nos próximos cinco anos.

Ao mesmo tempo, empresas como OpenAI e Anthropic enfrentam expectativas de crescimento e valorização extremamente elevadas enquanto desenvolvem modelos cada vez mais avançados.

Isso cria uma tensão estrutural: desenvolver sistemas mais poderosos exige enormes investimentos, mas avaliar adequadamente os riscos também pode exigir tempo, acesso e recursos.

Quanto mais rápido o ciclo de desenvolvimento, maior pode ser a pressão para que a avaliação acompanhe esse ritmo.

“A gente deveria parar?” 🤔

Daniel Kokotajlo, ex-pesquisador da OpenAI e diretor executivo do AI Futures Project, foi além das propostas de auditoria.

Segundo declarações citadas pela Axios, ele não acredita que a IA possa ser expandida com segurança e defende que as principais empresas evitem direcionar seus vastos recursos computacionais para o aprimoramento de modelos.

Kokotajlo resumiu o dilema em uma série de perguntas:

“A gente deveria parar? A gente é do lado do bem?”

A frase sintetiza uma discussão que deixou de ser apenas técnica.

De um lado estão empresas construindo modelos cada vez mais capazes e buscando formas de testar seus riscos. Do outro, pesquisadores e avaliadores discutem se os mecanismos de controle conseguem acompanhar a velocidade desse desenvolvimento.

A mudança pode estar justamente no momento da fiscalização

O movimento anunciado pela OpenAI não significa que organizações externas passarão a controlar o desenvolvimento de seus modelos.

O ponto é diferente: elas poderão entrar mais cedo no processo para realizar avaliações técnicas de segurança, desde que atendam aos critérios estabelecidos pela empresa.

Isso desloca a discussão de uma pergunta simples, “o modelo foi testado?”, para uma questão mais difícil: quem teve acesso a ele, em que momento, com que independência e sob quais condições?

É uma mudança pequena no calendário, mas potencialmente grande na arquitetura de supervisão.

Se a indústria de IA está construindo modelos em velocidade de corrida, a grande questão agora é se os mecanismos de segurança conseguirão entrar na pista antes da largada, e não apenas depois que o carro já estiver acelerando.

Apoie o Eurisko
Este conteúdo é independente, sem anúncios e feito por pessoas.
A inteligência artificial e as mudanças recentes do Google reduziram significativamente o alcance dos sites independentes. Se este conteúdo foi útil para você, considere apoiar o Eurisko e todo o ecossistema de projetos com qualquer valor.
Quero apoiar
Seguir:
Renê Fraga é fundador e editor-chefe do Eurisko, ecossistema editorial independente dedicado à inteligência artificial, código aberto, tecnologia e cultura digital. Atuando com projetos online desde 1996, escreve há mais de 20 anos sobre tecnologia e inovação, acompanhando a evolução da internet e o impacto das novas tecnologias na forma como vivemos, trabalhamos e pensamos.
Nenhum comentário