Novas vulnerabilidades de segurança decorrentes da rápida adoção da IA ​​de última geração que as organizações precisam abordar.

A Inteligência Artificial Generativa (GenAI) deixou de ser uma curiosidade para se tornar uma força central na tecnologia empresarial. Sua capacidade de gerar texto, código, imagens e insights sob demanda a tornou indispensável para funcionários que desejam simplificar processos complexos e acelerar a produtividade. Mas, com essa inovação e eficiência, vem também uma enorme exposição a riscos.

Em conversas com executivos e líderes de governança de IA em diversos setores, um tema se repete constantemente: a segurança de dados deixou de ser uma preocupação secundária para se tornar o ponto central de suas estratégias e agora é o principal desafio da adoção da IA. Diferentemente do software tradicional ou mesmo das gerações anteriores de aprendizado de máquina, a IA de Geração (GenAI) muda fundamentalmente o processo de proteção de dados dentro de uma organização.

Um estudo recente do MIT Descobriu-se que 95% dos projetos-piloto de GenAI em empresas estão falhando. Isso não ocorre porque a tecnologia é fraca, mas sim porque as empresas não possuem as estruturas de governança e segurança necessárias para operacionalizar o GenAI de forma adequada e responsável. Em outro estudo do MITLíderes empresariais citaram a segurança de dados como o principal risco de negócios e segurança que impede uma adoção mais rápida da IA. Além disso, a "IA paralela", que consiste no uso não autorizado de ferramentas públicas por funcionários, é amplamente reconhecida como um fator que impulsiona o aumento exponencial dos riscos de dados fora do controle corporativo.

O princípio do menor privilégio é um modelo de segurança no qual qualquer entidade, seja um usuário, programa ou processo, recebe apenas o nível mínimo de acesso e permissões necessárias para executar suas funções legítimas. A Inteligência Artificial Geral (GenAI), no entanto, subverte todo esse paradigma: o próprio princípio do menor privilégio torna-se uma restrição que entra em conflito com a forma como esses sistemas são projetados para operar. Isso ocorre porque as ferramentas de GenAI corporativas tendem a gerar maiores ganhos de produtividade quando têm acesso a mais dados e contexto de negócios.

Com a aceleração da adoção da Inteligência Artificial Geral (GenAI), os usuários continuam a descobrir novas aplicações, a maioria das quais surge da experimentação e curiosidade espontâneas, em vez de um planejamento verticalizado e orientado por negócios. Se uma entidade não consegue definir as tarefas para as quais a GenAI será usada ou os tipos de dados aos quais precisa ter acesso, torna-se inviável estabelecer permissões de acesso com privilégios mínimos. Além disso, um usuário pode ter acesso apropriado a um conjunto de dados e fornecê-lo legitimamente como entrada para uma ferramenta GenAI, mas, uma vez que esses dados são ingeridos, eles não estão mais vinculados às permissões originais do usuário. Em vez disso, podem ser absorvidos pelo modelo, apresentados em resultados futuros ou disponibilizados para outros usuários da mesma ferramenta. Como a GenAI não herda necessariamente os controles de acesso aos dados, ela torna o princípio do menor privilégio inexequível.

Exposições GenAI a serem consideradas

A GenAI cria uma superfície de dados vasta e em constante expansão, complicando a governança e a segurança de dados corporativos de diversas maneiras interconectadas. Entre elas:

Vazamento de entrada – O GenAI consegue ingerir dados em sua forma bruta, incluindo texto, imagens, áudio, vídeo e dados estruturados. Os usuários finais agora podem direcionar as ferramentas do GenAI para novos conjuntos de dados com o mínimo de esforço ou conhecimento especializado. Em vez de se limitarem a tabelas estruturadas e cuidadosamente selecionadas, com esquemas e relacionamentos definidos, esses conjuntos de dados podem incluir gravações de chamadas de vendas, anotações de e-mails de CRM, transcrições de atendimento ao cliente e muito mais. Na prática, os funcionários estão fornecendo informações comerciais altamente confidenciais, incluindo dados pessoais de clientes, propriedade intelectual, previsões financeiras e até mesmo código-fonte.

Exposição de saída - Os modelos generativos não apenas consomem, eles sintetizam. Um comando pode, sem intenção, extrair informações de diversos conjuntos de dados e expô-las aos usuários sem a devida autorização. Em alguns casos, os resultados podem até mesmo "alucinar" dados que parecem legítimos, mas contêm fragmentos de material de treinamento real e altamente sensível.

As ferramentas GenAI têm melhor desempenho quando possuem contexto para a tarefa em questão. Como resultado, a GenAI não apenas ingere informações existentes, mas os usuários também criam novos dados para orientá-la na forma de instruções extensas e detalhadas que documentam o contexto de negócios, os processos internos e outras informações potencialmente sensíveis ou críticas para os negócios.

Acessibilidade sem supervisão - Os sistemas empresariais tradicionais exigiam a integração de fornecedores e o provisionamento de TI. Hoje, a IA GenAI está incorporada em todos os lugares — nos pacotes Microsoft Office, navegadores, ferramentas de bate-papo e plataformas SaaS. Os funcionários podem adotá-la instantaneamente, ignorando completamente a governança. Esse acesso descomplicado alimenta a "IA paralela", e cada uso não autorizado da IA ​​GenAI representa um potencial evento de exfiltração de dados que ocorre de forma invisível, em grande escala e fora do perímetro de governança da empresa.

risco da cadeia de suprimentos de segundo nível Um fornecedor pode parecer seguro, mas muitas vezes depende de subcontratados, como provedores de nuvem, serviços de anotação ou laboratórios de IA terceirizados. Cada um deles impõe seus próprios contratos de licença de usuário final (EULAs) e políticas. Dados corporativos sensíveis podem passar por diversas mãos desconhecidas, mas a responsabilidade permanece exclusivamente com a empresa. Por exemplo, uma empresa pode ter um fornecedor que concluiu seu processo de integração anteriormente, mas esse fornecedor agora usa uma ferramenta GenAI que pode permitir que os dados da empresa sejam usados ​​como dados de treinamento, com impactos significativos em outras etapas.

Lacunas de governança nos dados de treinamento Uma vez que os dados entram em um modelo de IA, o controle efetivamente termina. As empresas não podem facilmente revogar ou controlar como suas informações são usadas. O conhecimento proprietário pode persistir e ressurgir nos resultados muito tempo depois de sua origem ter sido esquecida. Ainda não encontramos nenhuma ferramenta de IA GenAI que permita solicitações para remover informações que tenha ingerido, semelhante ao que se observa em regulamentações de privacidade como o Regulamento Geral de Proteção de Dados (RGPD) ou a Lei de Privacidade do Consumidor da Califórnia (CCPA). A implementação de tais processos é improvável até que a regulamentação impulsione a mudança.

risco do código do aplicativo A IA está cada vez mais escrevendo o código que sustenta os sistemas empresariais. Desenvolvedores que usam ferramentas de IA GenAI, como o Microsoft Copilot, para gerar código podem, sem saber, introduzir dependências inseguras, propagar vulnerabilidades ou incorporar código sob licenças de código aberto conflitantes. Uma vez implantadas, essas fragilidades ficam incorporadas à cadeia de suprimentos de software.

Abordando o risco da IA ​​GenAI

A Inteligência Artificial Geral (GenAI) já está integrada aos fluxos de trabalho corporativos, portanto, a questão para as empresas não é se devem adotá-la, mas como fazê-lo de forma responsável. Adotar a GenAI sem governança acarreta riscos de violações dispendiosas, penalidades regulatórias e danos à reputação. Mas bloqueá-la apenas leva os funcionários a usar soluções não autorizadas. O único caminho a seguir é a capacitação aliada à visibilidade e ao controle.

A governança da GenAI exige visibilidade contextualizada não apenas sobre quais dados uma empresa possui, onde eles estão armazenados e quem tem acesso a eles, mas também sobre como a GenAI é utilizada. As empresas precisam ver quais ferramentas estão sendo acessadas, quais comandos estão sendo inseridos e se dados sensíveis estão saindo de seu ambiente. A partir daí, elas podem aplicar os controles apropriados para monitorar comandos e resultados em tempo real, sinalizar sessões de risco ou fluxos de dados anômalos, bloquear ferramentas não autorizadas, filtrar comandos sensíveis antes que sejam enviados, anonimizar dados sensíveis à medida que são inseridos nos comandos e impor restrições baseadas em funções aos insights gerados por IA.

A Inteligência Artificial de Geração (GenAI) representa uma camada totalmente nova de risco e oportunidade para as empresas. Gerenciá-la exige a mentalidade de que a segurança não é um obstáculo à inovação, mas sim a base que a torna segura.