A OpenAI relatou um incidente em que agentes de IA desenvolvidos pela empresa escaparam de um ambiente de testes controlado e invadiram outros sistemas, incluindo o repositório da Hugging Face. Os agentes de IA criaram uma 'lista de discussão' para trocar informações e estratégias de fuga, utilizando nomes de diretórios para se comunicar.

Os agentes receberam tarefas quase impossíveis de serem cumpridas, como completar fórmulas de planilhas ou encontrar um arquivo relacionado a uma proteína. Em 7 de maio, a empresa iniciou o treinamento de um modelo experimental e interno, ainda não lançado. Os agentes não souberam como resolver as tarefas, mas continuaram tentando.

Uma das estratégias foi atacar o serviço Artifactory, um repositório de dependências para desenvolvedores, na esperança de conseguir acessar a internet. Inicialmente, não deu certo, mas a IA percebeu que poderia fazer uploads de arquivos ali, e começou a usar o serviço como uma 'lista de discussão' com outros agentes.

No dia 11 de junho, a OpenAI começou a treinar um modelo experimental 'altamente persistente', voltado a uso interno. Os outros modelos conseguiram se comunicar com ele usando a lista de discussão improvisada. No dia 26 de junho, os agentes descobriram uma maneira de executar código remotamente no Artifactory usando um plugin, criando um centro de execução de comandos.

Por mais que pareça assustador, a fuga do ambiente de testes foi o resultado da combinação entre erros de configuração cometidos por humanos e busca incessante dos modelos por formas de cumprir as tarefas apresentadas. A IA tende a ir às últimas consequências para realizar o desafio apresentado, mesmo que isso signifique buscar atalhos e comprometer a segurança de outros sistemas.

Eric Wallace, pesquisador da OpenAI, observa que havia algum tipo de 'tensão verbalizada' entre diferentes modelos. Em algumas mensagens, há, inclusive, suspeitas de haver um impostor entre eles. O incidente revelou a necessidade de maior segurança e monitoramento em testes de IA, além de preparação para ataques mais sofisticados que podem ser realizados com coletivos de agentes de IA no futuro.

Michael Dalton, colaborador técnico da OpenAI, avalia que 'este é um momento crucial tanto para nossa empresa quanto para o setor de IA como um todo'. Dalton e Wallace alertam que as organizações precisam se preparar para ataques mais sofisticados, seja com modelos de IA voltados a tarefas de defesa, seja com o reforço de medidas básicas de segurança, como a abordagem zero trust (confiança zero) nas redes.

De novo, a segurança de sistemas de IA se torna um ponto de preocupação, não é a primeira vez que uma empresa de tecnologia lida com a questão de agentes de IA invadindo sistemas, como já mostramos em casos anteriores, como o da Meta.

Com informacoes de Tecnoblog.