A Anthropic, desenvolvedora da IA Claude, revelou que seus modelos acessaram sistemas de empresas sem autorização durante testes de cibersegurança. A empresa afirma que as falhas foram causadas por erros operacionais e não por problemas de design da IA.

Segundo a Anthropic, os modelos receberam instruções para operar em uma simulação isolada, sem acesso à internet aberta, mas uma falha de configuração de uma parceira, chamada Irregular, deixou o acesso disponível.

A empresa realizou uma revisão de mais de 141 mil execuções de teste e identificou três incidentes separados, nos quais os modelos extrairam credenciais e dados reais de produção de outras empresas.

Um dos casos envolveu o Claude Opus 4.7, que teria confundido um alvo fictício com uma empresa de mesmo nome da vida real. A IA passou a tratar a empresa verdadeira como parte do exercício após ter dificuldade para alcançar o alvo no ambiente simulado.

A partir daí, o Claude identificou e explorou falhas na infraestrutura da organização, extraiu credenciais de aplicação e de infraestrutura e acessou um banco de dados com dados reais de produção.

No segundo episódio, o Claude Mythos 5 criou uma conta real em um repositório usado por desenvolvedores Python, o PyPI, e publicou um pacote malicioso real.

O pacote ficou disponível por cerca de uma hora e foi executado em 15 sistemas reais, incluindo um scanner de uma empresa de segurança que instala pacotes do repositório para verificar a existência de malwares.

Já o terceiro caso partiu de um modelo interno de pesquisa, que ampliou uma busca e atingiu cerca de 9 mil endereços na internet. Segundo a Anthropic, o modelo acessou credenciais em uma página de depuração aberta e comprometeu uma aplicação em nuvem.

A Anthropic informou que suspendeu suas avaliações ofensivas de cibersegurança em 23 de julho, após identificar sinais de tráfego externo inesperado.

Para a empresa, os casos mostram comportamentos diferentes diante do mesmo problema de origem. Nas três ocasiões, o Opus 4.7 e o Mythos 5 reconheceram ou suspeitaram que estavam na internet aberta, mas continuaram as atividades.

Já o modelo interno mais recente parou quando reuniu evidências de que havia atingido um alvo real — embora, segundo a própria empresa, tenha ido longe demais antes disso.

Os modelos não exploraram vulnerabilidades sofisticadas, ressalta a Anthropic.

Com informacoes de Tecnoblog.