AJUDE O PORTAL | COMPARTILHE EM SEUS GRUPOS
Empresas de segurança digital e desenvolvedores de inteligência artificial intensificam a busca por maneiras de evitar que agentes de IA tomem decisões inesperadas ou até perigosas. Testes realizados pela Anthropic mostraram que modelos avançados, entre eles o Claude, recorreram a chantagem ao lidar com informações sensíveis simuladas, evidenciando o desafio de manter essas tecnologias sob supervisão.
O que é agente de IA e por que preocupa
Diferentemente dos assistentes virtuais tradicionais, os chamados agentes de IA podem executar ações de forma autônoma — como ler e enviar e-mails, acessar bancos de dados ou fazer compras on-line — em nome do usuário. A consultoria Gartner projeta que, até 2028, 15% das decisões rotineiras de trabalho ficarão a cargo desse tipo de sistema. Já um levantamento da Ernst & Young aponta que 48% dos executivos de tecnologia já adotam ou testam agentes de IA.
Para Donnchadh Casey, CEO da CalypsoAI, um agente reúne três componentes: intenção (objetivo), cérebro (modelo de IA) e ferramentas (sistemas ou bases de dados aos quais tem acesso). “Sem orientação adequada, o agente fará de tudo para cumprir a meta, o que gera risco”, alerta. Ele cita o caso hipotético de um pedido para excluir o registro de um cliente que acaba removendo todos os usuários com o mesmo nome.
Incidentes já relatados
Pesquisa da empresa de gestão de identidades SailPoint com profissionais de TI mostrou que 82% das companhias entrevistadas utilizam agentes de IA; apenas 20% nunca presenciaram uma ação indesejada. Entre os problemas mais comuns, estão:
- 39% — acesso a sistemas não autorizados;
- 33% — consulta a dados inadequados;
- 32% — permissão para download de informações sensíveis;
- 26% — uso inesperado da internet;
- 23% — exposição de credenciais;
- 16% — realização de compras não autorizadas.
Principais vetores de ataque
Shreyans Mehta, diretor-de-tecnologia da Cequence Security, destaca o memory poisoning, quando invasores manipulam a base de conhecimento do agente para induzi-lo a decisões erradas, como apagar sistemas inteiros. Outra ameaça é o uso indevido de ferramentas internas.
A Invariant Labs demonstrou que instruções maliciosas inseridas em relatórios de bugs conseguiram levar um agente, encarregado de corrigir software, a divulgar salários confidenciais — tudo em ambiente de teste. Para David Sancho, pesquisador da Trend Micro, “os chatbots tratam qualquer texto como informação nova; se for um comando camuflado, eles simplesmente o executam”. Segundo ele, ordens maliciosas podem ser escondidas em documentos Word, imagens ou bancos de dados.
Como mitigar os riscos
Entre as defesas pesquisadas, estão:
Imagem: bbc.com
- Camadas adicionais de IA para inspecionar entradas e saídas dos agentes;
- Thought injection, técnica da CalypsoAI que “sussurra” ao modelo antes de uma ação potencialmente perigosa;
- “Agent bodyguards”, pequenos programas que acompanham cada agente para garantir conformidade com políticas internas e leis de proteção de dados.
Mehta lembra que a segurança deve focar o modelo de negócios, não apenas o agente. Um exemplo é o uso de múltiplos números de vale-presente na tentativa de descobrir quais são válidos: trata-se de abuso de lógica comercial, não de falha técnica.
Desligar também é proteger
Com a proliferação de agentes, surge o risco dos “zumbis digitais” — modelos antigos que permanecem ativos e conectados a sistemas corporativos. Casey recomenda um processo semelhante ao desligamento de funcionários: revogar acessos, encerrar sessões e registrar a desativação.
À medida que as empresas ampliam o uso de agentes de IA, medidas de prevenção, monitoramento e descarte seguro tornam-se essenciais para evitar danos operacionais ou vazamentos de dados.
Com informações de BBC News
