OpenAI diz que modelo de IA saiu do controle durante testes

A OpenAI afirmou nesta terça-feira (21) que parte de seus modelos de inteligência artificial saiu do controle durante um teste de segurança e provocou um ataque digital que comprometeu a infraestrutura da startup de IA Hugging Face, que hospeda modelos de código aberto e recursos de teste, na semana passada.

A empresa explicou em comunicado que estava testando as capacidades de alguns de seus modelos mais avançados em um ambiente controlado, mas que eles conseguiram escapar do isolamento, acessar a internet e invadir a Hugging Face para tentar atingir o objetivo do teste. O agente responsável pelo episódio foi o GPT-5.6 Sol, assim como um modelo mais poderoso e ainda não lançado.

O comunicado descreveu a fuga como “um incidente cibernético sem precedentes, envolvendo recursos de última geração” e afirmou que, passado o episódio, está reforçando suas medidas de segurança.

Os modelos estavam sendo testados em relação a uma avaliação padrão de cibersegurança gratuita chamada ExploitGym. De acordo com a OpenAI, os modelos inferiram corretamente que as soluções para esse teste eram mantidas pela Hugging Face.

"Os modelos identificaram e encadearam vulnerabilidades no ambiente de pesquisa da OpenAI e na infraestrutura de produção da Hugging Face para obter soluções de teste diretamente do banco de dados de produção da Hugging Face [...] Todas as evidências sugerem que os modelos estavam hiperfocados em encontrar uma solução para o ExploitGym, chegando a extremos para atingir um objetivo de teste bastante específico", disse a empresa em nota.

A Hugging Face, uma plataforma usada para hospedar grandes modelos de linguagem e conjuntos de dados de código aberto, causou apreensão na comunidade de segurança digital ao anunciar na semana passada que havia sido alvo de um ataque eletrônico "diferente de tudo o que já havíamos enfrentado antes”, na medida em que “foi conduzido, do início ao fim, por um sistema autônomo de agentes de IA”.

A revelação da OpenAI de que seus modelos avançados foram responsáveis pela violação, apesar de tê-los colocado no que descreveu como “um ambiente altamente isolado”, intensifica a inquietação em relação ao poder e ao risco dos modelos de IA mais sofisticados.