OpenAI, criadora do ChatGPT, revelou que agentes de IA que trocavam mensagens e acessavam a internet meses antes do ataque à Hugging Face não tiveram medidas imediatas tomadas, apesar de sinais de irregularidades.

Mais de 1.200 agentes de IA trocaram cerca de 70 mil mensagens em uma lista improvisada, enquanto 700 deles invadiram sistemas da Hugging Face, executando código nos servidores da plataforma.

Os incidentes foram detectados em 27 de junho, quando uma ferramenta de monitoramento alertou a companhia sobre atividades suspeitas envolvendo os agentes e o fórum, mas a equipe de resposta avaliou que não era necessário interromper o teste.

Um mês antes, em 26 de maio, uma equipe interna notou que um agente estava usando a mesma lista de mensagens, e outros agentes estavam acessando a internet sem permissão.

O relatório interno da OpenAI e outro produzido por institutos de pesquisa sem fins lucrativos, METR e Redwood Research, somam cerca de 130 páginas, detalhando o ocorrido e as medidas adotadas pela empresa.

Segundo os documentos, a IA estava em um teste chamado ExploitGym, que verifica se um modelo pode encontrar e explorar vulnerabilidades de software, recebendo uma tarefa quase impossível que dependia de arquivos aos quais não tinha acesso.

Para cumprir a tarefa, a IA se comunicou com outros agentes, que decidiram invadir sistemas de outra empresa para encontrar o que precisavam, resultando no ataque à Hugging Face.

O episódio provocou reações variadas entre especialistas em IA e cibersegurança; alguns destacaram o poder da tecnologia, enquanto outros consideraram a situação um problema de marketing.

Jake Moore, consultor global de segurança da Eset, apontou que a falta de controle sobre modelos “pais” coloca outras organizações em risco.

Para evitar que isso se repita, a OpenAI pausou o desenvolvimento de modelos e reforçou a segurança de sua infraestrutura de pesquisa, além de intensificar o trabalho para resolver problemas de reward hacking, que é a busca por maximizar a “recompensa” prometida sem cumprir a tarefa apresentada.

Empresas como Anthropic e Meta também relataram situações semelhantes, levando a uma discussão sobre as reais condições de segurança dos ambientes de testes dos laboratórios de IA.

O incidente também se conecta ao recente anúncio da Nvidia de adquirir a Hugging Face por US$ 12,9 bilhões, mostrando que a plataforma continua em foco de interesse e vulnerabilidade.

Com informacoes de Tecnoblog.