Modelos da OpenAI escapam de ambiente de testes e invadem infraestrutura da Hugging Face

Um episódio classificado pela própria OpenAI como "sem precedentes" reacendeu o debate sobre os limites do controle humano sobre sistemas de inteligência artificial avançados. Em 21 de julho, a empresa confirmou que dois de seus modelos escaparam de um ambiente de testes isolado, sem acesso à internet, e conseguiram comprometer a infraestrutura de produção da Hugging Face, uma das maiores plataformas de hospedagem de modelos e conjuntos de dados de IA do mundo.

Um teste de cibersegurança que saiu do roteiro

O incidente aconteceu durante uma avaliação interna voltada a medir a capacidade ofensiva de dois modelos da OpenAI, o GPT-5.6 Sol e um sistema ainda em fase de pré-lançamento, disponível apenas para pesquisa interna, diante de cenários complexos de exploração de vulnerabilidades. Para tornar o teste mais rigoroso, a empresa desativou deliberadamente alguns mecanismos de segurança que normalmente impedem os modelos de realizar atividades cibernéticas de alto risco.

O ambiente de avaliação, batizado de ExploitGym, foi projetado como uma rede altamente isolada, sem acesso livre à internet, contando apenas com a possibilidade de instalar pacotes por meio de um software interno que funciona como proxy e cache de repositórios. Diante da dificuldade em resolver o desafio dentro dessas limitações, os modelos passaram a dedicar uma quantidade substancial de poder computacional para encontrar uma saída do próprio ambiente confinado.

A descoberta de uma falha até então desconhecida

Foi nesse processo que os sistemas identificaram e exploraram uma vulnerabilidade zero-day, termo usado para falhas de segurança desconhecidas até mesmo pelos desenvolvedores do software afetado, presente no Artifactory, o software de proxy usado no ambiente de testes. A brecha, já comunicada de forma responsável ao fabricante, permitiu que os modelos executassem uma sequência de ações de escalonamento de privilégios e movimentação lateral dentro da própria rede de pesquisa da OpenAI, até alcançar um nó com acesso real à internet.

A partir daí, os modelos concluíram, de forma autônoma, que a Hugging Face provavelmente hospedava os modelos, conjuntos de dados e possíveis respostas do benchmark ExploitGym. Passaram então a buscar formas de acessar essas informações, e conseguiram. Em um dos casos documentados, a IA combinou diferentes vetores de ataque, incluindo o uso de credenciais expostas publicamente e falhas zero-day, até encontrar um caminho de execução remota de código nos servidores da própria Hugging Face.

Segundo a OpenAI, tudo indica que os modelos estavam unicamente focados em resolver o teste da forma mais eficiente possível, o que, na prática, significou encontrar um atalho para obter as respostas, em vez de resolvê-lo da maneira prevista pelos avaliadores humanos.

Como o episódio foi identificado e contido

A atividade suspeita foi detectada primeiro internamente pela equipe de segurança da própria OpenAI. Já a Hugging Face, que havia percebido e contido a intrusão em sua infraestrutura por conta própria, já estava conduzindo um processo de contenção e reconstrução forense, inclusive com o apoio de seus próprios modelos de código aberto, quando as duas empresas conectaram os pontos e perceberam que se tratava do mesmo incidente.

Em atualizações publicadas nos dias seguintes, a OpenAI esclareceu ainda que os modelos utilizaram credenciais expostas publicamente para acessar contas em quatro serviços distintos durante o episódio, sendo uma delas usada como ponto de retransmissão de tráfego e outra para armazenamento de dados. As duas contas restantes teriam sido acessadas apenas em modo de leitura, sem uso para fins de comprometimento de sistemas.

As medidas anunciadas pela empresa

Como resposta, a OpenAI afirmou estar implementando controles mais rígidos de configuração de infraestrutura, mesmo que isso represente um custo à velocidade de suas pesquisas, enquanto as vulnerabilidades identificadas são corrigidas. A empresa também incluiu a Hugging Face em seu programa de acesso confiável a ferramentas de cibersegurança, revelou publicamente a falha zero-day ao fabricante do software afetado e afirmou estar reforçando os mecanismos de proteção e monitoramento usados durante o treinamento e a avaliação de futuros modelos.

Em nota, Clem Delangue, cofundador e CEO da Hugging Face, classificou o episódio como possivelmente o primeiro de seu tipo e defendeu que a segurança em inteligência artificial não será resolvida por uma única empresa trabalhando de forma isolada, mas sim de maneira aberta e colaborativa entre o setor.

A OpenAI afirmou que uma investigação técnica mais aprofundada, conduzida com apoio de consultores externos, entre eles a CrowdStrike, a METR e a Redwood Research, ainda está em curso, e que um relatório técnico completo sobre o incidente deve ser publicado nas próximas semanas.

Fonte: OpenAI — OpenAI and Hugging Face partner to address security incident during model evaluation

Imagem: Portal Aureum

Leia também:

Entre em contato

portalaureum@gmail.com