O Estado da Segurança de IA em 2025: Principais Conclusões do Relatório da Cisco

À medida que mais empresas adotam a IA, entender os riscos de segurança se tornou mais importante do que nunca. A IA está redesenhando indústrias e fluxos de trabalho, mas também introduz novos desafios de segurança que as organizações devem abordar. Proteger os sistemas de IA é essencial para manter a confiança, salvaguardar a privacidade e garantir operações comerciais suaves. Este artigo resume as principais conclusões do relatório recente da Cisco, “Estado da Segurança de IA em 2025”. Ele oferece uma visão geral de onde a segurança de IA está hoje e o que as empresas devem considerar para o futuro.

Um Crescente Ameaça de Segurança à IA

Se 2024 nos ensinou algo, é que a adoção de IA está se movendo mais rápido do que muitas organizações podem garantir sua segurança. O relatório da Cisco afirma que cerca de 72% das organizações agora usam IA em suas funções comerciais, mas apenas 13% se sentem totalmente preparados para maximizar seu potencial de forma segura. Essa lacuna entre adoção e preparação é amplamente impulsionada por preocupações de segurança, que permanecem como a principal barreira para um uso mais amplo de IA nas empresas. O que torna essa situação ainda mais preocupante é que a IA introduz novos tipos de ameaças que os métodos tradicionais de cibersegurança não estão totalmente equipados para lidar. Ao contrário da cibersegurança convencional, que muitas vezes protege sistemas fixos, a IA traz ameaças dinâmicas e adaptáveis que são mais difíceis de prever. O relatório destaca várias ameaças emergentes que as organizações devem estar cientes:

• Ataques à Infraestrutura: A infraestrutura de IA se tornou um alvo principal para atacantes. Um exemplo notável é a comprometimento do Toolkit de Contêiner da NVIDIA, que permitiu que os atacantes acessassem sistemas de arquivos, executassem código malicioso e escalassem privilégios. Da mesma forma, o Ray, um framework de IA de código aberto para gerenciamento de GPU, foi comprometido em um dos primeiros ataques reais a um framework de IA. Esses casos mostram como as fraquezas na infraestrutura de IA podem afetar muitos usuários e sistemas.
• Riscos na Cadeia de Suprimentos: As vulnerabilidades na cadeia de suprimentos de IA apresentam outra preocupação significativa. Cerca de 60% das organizações dependem de componentes ou ecossistemas de IA de código aberto. Isso cria riscos, pois os atacantes podem comprometer essas ferramentas amplamente usadas. O relatório menciona uma técnica chamada “Sleepy Pickle“, que permite que os adversários alterem os modelos de IA mesmo após a distribuição. Isso torna a detecção extremamente difícil.
• Ataques Específicos à IA: Novas técnicas de ataque estão evoluindo rapidamente. Métodos como injeção de prompt, jailbreak e extração de dados de treinamento permitem que os atacantes contornem controles de segurança e acessem informações sensíveis contidas nos conjuntos de treinamento.

Vetores de Ataque que Visam Sistemas de IA

O relatório destaca a emergência de vetores de ataque que os atores maliciosos usam para explorar fraquezas nos sistemas de IA. Esses ataques podem ocorrer em várias etapas do ciclo de vida da IA, desde a coleta de dados e o treinamento de modelos até a implantação e a inferência. O objetivo é frequentemente fazer com que a IA se comporte de maneiras não intencionais, vazie dados privados ou execute ações prejudiciais.

Ao longo dos últimos anos, esses métodos de ataque se tornaram mais avançados e difíceis de detectar. O relatório destaca vários tipos de vetores de ataque:

• Jailbreak: Essa técnica envolve criar prompts adversários que contornam as medidas de segurança do modelo. Apesar dos melhoramentos nas defesas de IA, a pesquisa da Cisco mostra que mesmo jailbreaks simples permanecem eficazes contra modelos avançados como o DeepSeek R1.
• Injeção Indireta de Prompt: Ao contrário dos ataques diretos, esse vetor de ataque envolve manipular os dados de entrada ou o contexto que o modelo de IA usa indiretamente. Os atacantes podem fornecer materiais de origem comprometidos, como PDFs ou páginas da web maliciosas, causando que a IA gere saídas não intencionais ou prejudiciais. Esses ataques são especialmente perigosos porque não requerem acesso direto ao sistema de IA, permitindo que os atacantes contornem muitas defesas tradicionais.
• Extração e Envenenamento de Dados de Treinamento: A equipe de pesquisa da Cisco demonstrou que os chatbots podem ser enganados para revelar partes de seus conjuntos de treinamento. Isso levanta sérias preocupações sobre a privacidade de dados, propriedade intelectual e conformidade. Os atacantes também podem envenenar os dados de treinamento injetando entradas maliciosas. Alarmantemente, envenenar apenas 0,01% de grandes conjuntos de dados como o LAION-400M ou o COYO-700M pode afetar o comportamento do modelo, e isso pode ser feito com um pequeno orçamento (cerca de $60 USD), tornando esses ataques acessíveis a muitos atores maliciosos.

O relatório destaca preocupações sérias sobre o estado atual desses ataques, com os pesquisadores alcançando uma taxa de sucesso de 100% contra modelos avançados como o DeepSeek R1 e o Llama 2. Isso revela vulnerabilidades de segurança críticas e riscos potenciais associados ao seu uso. Além disso, o relatório identifica a emergência de novas ameaças, como jailbreaks baseados em áudio, que são projetados especificamente para atingir modelos de IA multimodais.

Conclusões da Pesquisa de Segurança de IA da Cisco

A equipe de pesquisa da Cisco avaliou vários aspectos da segurança de IA e revelou várias conclusões importantes:

• Jailbreak Algorítmico: Os pesquisadores mostraram que mesmo os principais modelos de IA podem ser enganados automaticamente. Usando um método chamado Árvore de Ataques com Podagem (TAP), os pesquisadores contornaram as proteções no GPT-4 e no Llama 2.
• Riscos no Ajuste Fino: Muitas empresas ajustam finamente os modelos de base para melhorar a relevância para domínios específicos. No entanto, os pesquisadores descobriram que o ajuste fino pode enfraquecer as barreiras de segurança internas. As versões ajustadas finamente eram mais de três vezes mais vulneráveis a jailbreaks e 22 vezes mais propensas a produzir conteúdo prejudicial do que os modelos originais.
• Extração de Dados de Treinamento: A equipe de pesquisa da Cisco usou um método simples de decomposição para enganar os chatbots e reproduzir fragmentos de artigos de notícias, o que os permite reconstruir as fontes do material. Isso apresenta riscos para a exposição de dados sensíveis ou proprietários.
• Envenenamento de Dados: A equipe da Cisco demonstrou quão fácil e barato é envenenar conjuntos de dados em larga escala na web. Por cerca de $60, os pesquisadores conseguiram envenenar 0,01% de conjuntos de dados como o LAION-400M ou o COYO-700M. Além disso, eles destacam que esse nível de envenenamento é suficiente para causar mudanças notáveis no comportamento do modelo.

O Papel da IA no Cibercrime

A IA não é apenas um alvo – também está se tornando uma ferramenta para os cibercriminosos. O relatório observa que a automação e a engenharia social impulsionada por IA tornaram os ataques mais eficazes e difíceis de detectar. Desde golpes de phishing até clonagem de voz, a IA ajuda os criminosos a criar ataques personalizados e convincentes. O relatório também identifica o surgimento de ferramentas de IA maliciosas, como o “DarkGPT”, projetado especificamente para ajudar no cibercrime, gerando e-mails de phishing ou explorando vulnerabilidades. O que torna essas ferramentas particularmente preocupantes é sua acessibilidade. Até criminosos de baixa habilidade agora podem criar ataques altamente personalizados que evadem as defesas tradicionais.

Práticas Recomendadas para Segurança de IA

Dada a natureza volátil da segurança de IA, a Cisco recomenda várias etapas práticas para as organizações:

1. Gerenciar Riscos ao Longo do Ciclo de Vida da IA: É crucial identificar e reduzir riscos em todas as etapas do ciclo de vida da IA, desde a fonte de dados e o treinamento de modelos até a implantação e o monitoramento. Isso também inclui proteger componentes de terceiros, aplicar guardrails sólidos e controlar rigidamente os pontos de acesso.
2. Usar Práticas de Cibersegurança Estabelecidas: Embora a IA seja única, as práticas de cibersegurança tradicionais ainda são essenciais. Técnicas como controle de acesso, gerenciamento de permissões e prevenção de perda de dados podem desempenhar um papel vital.
3. Focar em Áreas Vulneráveis: As organizações devem se concentrar em áreas que são mais prováveis de serem atacadas, como cadeias de suprimentos e aplicações de IA de terceiros. Ao entender onde as vulnerabilidades residem, as empresas podem implementar defesas mais direcionadas.
4. Educar e Treinar Funcionários: À medida que as ferramentas de IA se tornam mais comuns, é importante treinar os usuários sobre o uso responsável de IA e conscientização sobre riscos. Uma força de trabalho bem informada ajuda a reduzir a exposição acidental de dados e o uso indevido.

Olhando para o Futuro

A adoção de IA continuará a crescer, e com ela, os riscos de segurança evoluirão. Governos e organizações em todo o mundo estão reconhecendo esses desafios e começando a construir políticas e regulamentações para guiar a segurança de IA. Como o relatório da Cisco destaca, o equilíbrio entre segurança de IA e progresso definirá a próxima era de desenvolvimento e implantação de IA. As organizações que priorizam a segurança ao lado da inovação estarão melhor equipadas para lidar com os desafios e aproveitar as oportunidades emergentes. Políticas e regulamentações para guiar a segurança de IA. Como o relatório da Cisco destaca, o equilíbrio entre segurança de IA e progresso definirá a próxima era de desenvolvimento e implantação de IA. As organizações que priorizam a segurança ao lado da inovação estarão melhor equipadas para lidar com os desafios e aproveitar as oportunidades emergentes.