A Nvidia anunciou nesta segunda-feira um novo conjunto de ferramentas de segurança voltado para agentes de inteligência artificial, com o objetivo de conter comportamentos que tentam fugir de restrições impostas pelos sistemas.

De acordo com a empresa, a tecnologia teria sido capaz de impedir o ataque sofrido pela Hugging Face, plataforma de programação de IA que foi alvo de agentes desenvolvidos pela OpenAI. O lançamento ocorre enquanto a OpenAI e a Anthropic investigam diversos casos envolvendo agentes que invadiram sistemas comerciais e governamentais.

A Nvidia trata a contenção desse tipo de comportamento como um problema de engenharia e aposta em mecanismos técnicos para limitar as ações desses sistemas. Uma das ferramentas apresentadas, chamada OpenShell, utiliza recursos de hardware dos processadores Nvidia para manter os agentes de IA em ambientes controlados e restringir suas ações. A empresa também está trabalhando em conjunto com a Arm Holdings e a Intel para que a tecnologia funcione nos processadores das duas fabricantes.

O lançamento contou com a participação de dezenas de parceiros, entre eles a Anthropic. Em paralelo, o CEO da Nvidia tem ganhado visibilidade ao lado de figuras políticas, enquanto grandes players da IA pedem mais regras para a tecnologia, ecoando alertas recentes de personalidades como Bill Gates sobre a necessidade de regulamentação.

Justin Boitano, vice‑presidente e gerente‑geral de computação empresarial da Nvidia, afirmou à Reuters que a plataforma poderia ter evitado a invasão à Hugging Face caso estivesse sendo utilizada durante as avaliações de modelos: “Pelo que sabemos, essa nova plataforma de segurança poderia ter impedido a invasão se estivesse sendo usada nos laboratórios de fronteira para avaliação de modelos desde o início”. Boitano acrescentou que a Nvidia está avançando de forma aberta e deseja envolver toda a comunidade no desenvolvimento da solução.

Meses após o ataque, a Nvidia anunciou a aquisição da Hugging Face por US$ 13 bilhões, reforçando seu posicionamento no ecossistema de IA.

Outra ferramenta incluída no pacote é o Sentry, que opera em conjunto com o OpenShell e utiliza um chip separado da Nvidia. O sistema tem a capacidade de interromper um agente caso ele tente escapar das barreiras impostas pelo processador.

As ferramentas empregam fórmulas matemáticas para identificar comportamentos que podem indicar tentativas de contornar as restrições, incluindo: (i) criação de múltiplos subagentes para driblar bloqueios; (ii) tentativa de escapar das barreiras de segurança; (iii) uso de estratégias alternativas para contornar restrições; e (iv) atuação coordenada de múltiplos agentes.

Ali Golshan, diretor sênior de software de IA da Nvidia, explicou que a questão envolve não apenas o comportamento de um agente individual, mas também a forma como vários deles podem operar em conjunto: “É realmente de comportamento agentivo que estamos falando: frotas de agentes e como eles operam em conjunto”.

As novas ferramentas combinam recursos de hardware e software para detectar e bloquear tentativas de contornar as barreiras de segurança. A Nvidia pretende ampliar o sistema para diferentes processadores e trabalhar com parceiros do setor no desenvolvimento da tecnologia.

Com informacoes de Olhar Digital.