Novas Exposições de Segurança da Adoção Rápida de GenAI que as Organizações Devem Abordar

A Inteligência Artificial Gerativa (GenAI) saltou de uma curiosidade para uma força central na tecnologia empresarial. Sua capacidade de gerar texto, código, imagens e insights por demanda tornou-a indispensável para os funcionários ansiosos para cortar a complexidade e acelerar a produtividade. Mas com essa inovação e eficiência vem uma exposição massiva ao risco.

Nas chamadas com executivos e líderes de governança de IA em várias indústrias, um tema surge repetidamente: A segurança de dados passou de uma preocupação importante para o foco principal de sua estratégia e agora é o desafio definidor da adoção de IA. Ao contrário do software tradicional ou mesmo das ondas anteriores de aprendizado de máquina, a GenAI muda fundamentalmente o processo de segurança de dados dentro de uma organização.

Um estudo recente do MIT descobriu que 95% dos pilotos de GenAI de empresas estão falhando. Não é porque a tecnologia é fraca; é porque as empresas carecem dos quadros de governança e segurança necessários para operacionalizar a GenAI de forma apropriada e responsável. Em outro estudo do MIT, os líderes empresariais citaram a segurança de dados como o principal risco de negócios e segurança que impede uma adoção de IA mais rápida. Além disso, a “IA sombra”, que é o uso não sancionado de ferramentas públicas por funcionários, é amplamente reconhecida como um motor de riscos de dados em ascensão além do controle corporativo.

O acesso de privilégio mínimo é um modelo de segurança no qual qualquer entidade, seja um usuário, programa ou processo, recebe apenas o nível mínimo de acesso e permissões necessários para realizar suas funções legítimas. A GenAI, no entanto, derruba todo o paradigma: O próprio privilégio mínimo se torna uma restrição que entra em conflito com a forma como esses sistemas são projetados para operar. Isso ocorre porque as ferramentas de GenAI empresariais tendem a fornecer maiores ganhos de produtividade quando têm acesso a mais dados de negócios e contexto de negócios.

À medida que a adoção de GenAI acelera, os usuários continuam a descobrir novas aplicações de GenAI, a maioria das quais emerge de experimentação orgânica e curiosidade, em vez de planejamento empresarial de cima para baixo. Se uma entidade não puder definir as tarefas para as quais a GenAI será usada, ou os tipos de dados aos quais ela precisa ter acesso, torna-se inviável configurar permissões de acesso de privilégio mínimo. Além disso, um usuário pode ter acesso apropriado a um conjunto de dados e legitimamente fornecê-lo como entrada para uma ferramenta de GenAI, mas uma vez que esses dados são ingeridos, eles não estão mais vinculados às permissões originais do usuário. Em vez disso, podem ser absorvidos pelo modelo, superfície em saídas futuras ou se tornar acessíveis a outros que usam a mesma ferramenta. Como a GenAI não necessariamente herda os controles de acesso dos dados, ela efetivamente torna o privilégio mínimo inexecutável.

Exposições de GenAI a Considerar

A GenAI cria uma vasta e sempre expansiva superfície de dados, complicando a governança e segurança de dados empresariais de várias maneiras interconectadas. Estas incluem:

Vazamento de entrada – A GenAI pode ingerir dados em sua forma bruta, incluindo texto, imagens, áudio, vídeo e dados estruturados. Os usuários finais agora podem direcionar as ferramentas de GenAI para novos conjuntos de dados com mínimo esforço ou especialização. Em vez de se limitarem a tabelas cuidadosamente curadas e estruturadas com esquemas e relacionamentos definidos, esses conjuntos de dados podem incluir gravações de chamadas de vendas, notas de e-mail do CRM, transcritos de serviço de atendimento ao cliente e mais. Na prática, os funcionários estão alimentando prompts com informações de negócios altamente sensíveis, incluindo PII do cliente, propriedade intelectual, previsões financeiras e até código-fonte.

Exposição de saída – Os modelos gerativos não apenas consomem, mas também sintetizam. Um prompt pode desviar inadvertidamente insights de vários conjuntos de dados e expô-los a usuários sem a devida autorização. Em alguns casos, as saídas podem até “alucinar” dados que parecem legítimos, mas contêm fragmentos de material de treinamento real e altamente sensível.

As ferramentas de GenAI funcionam melhor quando têm contexto para a tarefa em questão. Como resultado, não apenas a GenAI está ingerindo informações existentes, mas os usuários também estão criando novos dados para guiá-la na forma de prompts extensos e detalhados que documentam contexto de negócios, processos internos e outras informações potencialmente sensíveis ou críticas para o negócio.

Acessibilidade sem supervisão – Os sistemas empresariais tradicionais exigiam integração de fornecedores e provisionamento de TI. Hoje, a GenAI está incorporada em todos os lugares – nas suítes do Microsoft Office, navegadores, ferramentas de chat e plataformas de SaaS. Os funcionários podem adotá-la instantaneamente, contornando a governança por completo. Esse acesso sem atrito alimenta a “IA sombra”, e cada uso não sancionado de GenAI é um potencial evento de exfiltração de dados ocorrendo invisivelmente, em escala e fora do perímetro de governança da empresa.

Risco de cadeia de suprimentos de segundo nível – Um fornecedor pode parecer seguro, mas frequentemente depende de subcontratados, como hospedeiros de nuvem, serviços de anotação ou laboratórios de IA de terceiros. Cada um introduz seus próprios acordos de licença de usuário final (EULA) e políticas. Dados de empresas sensíveis podem se espalhar por várias mãos invisíveis, e a responsabilidade permanece inteiramente com a empresa. Por exemplo, uma empresa pode ter um fornecedor que anteriormente completou seu processo de integração, mas esse fornecedor agora usa uma ferramenta de GenAI que poderia permitir que os dados da empresa sejam usados como dados de treinamento, com impactos significativos downstream.

Lacunas de governança em dados de treinamento – Uma vez que os dados entram em um modelo de IA, o controle efetivamente termina. As empresas não podem facilmente reverter ou governar como suas informações são usadas. O conhecimento proprietário pode persistir e então surgir em saídas muito tempo após sua fonte ter sido esquecida. Ainda não encontramos nenhuma ferramenta de GenAI que permita solicitações para remover informações que ela ingeriu, semelhante ao que é visto em regulamentações de privacidade, como o Regulamento Geral de Proteção de Dados (GDPR) ou a Lei de Privacidade do Consumidor da Califórnia (CCPA). A implementação de tais processos é improvável até que a regulação impulsiona a mudança.

Risco de código de aplicativo – A IA está cada vez mais escrevendo o código que subjaz os sistemas de negócios. Desenvolvedores que usam ferramentas de GenAI, como o Microsoft Copilot, para gerar código podem inadvertidamente introduzir dependências inseguras, propagar vulnerabilidades ou incorporar código sob licenças de código aberto conflitantes. Uma vez implantados, essas fraquezas se tornam incorporadas à cadeia de suprimentos de software.

Abordando o Risco de GenAI

A GenAI já está incorporada nos fluxos de trabalho empresariais, então a pergunta para as empresas não é se devem adotá-la, mas como fazê-lo de forma responsável. Adotar a GenAI sem governança arrisca violações caras, penalidades regulatórias e danos à reputação. Mas bloqueá-la apenas impulsiona os funcionários a usarem soluções não sancionadas. O único caminho à frente é o enablement envolto em visibilidade e controle.

A governança de GenAI exige visibilidade orientada por contexto não apenas sobre quais dados uma empresa tem, onde eles vivem e quem tem acesso a eles, mas também sobre como a GenAI é usada. As empresas precisam ver quais ferramentas estão sendo acessadas, quais prompts estão sendo inseridos e se dados sensíveis estão saindo de seu ambiente. A partir daí, elas podem aplicar os controles apropriados para monitorar prompts e saídas em tempo real, sinalizar sessões de risco ou fluxos de dados anômalos, bloquear ferramentas não sancionadas, filtrar prompts sensíveis antes que eles saiam, desidentificar dados sensíveis à medida que são inseridos em prompts e impor restrições baseadas em funções sobre insights impulsionados por IA.

A GenAI é uma nova camada de risco e oportunidade empresarial. Gerenciá-la exige a mentalidade de que a segurança não é um freio na inovação, mas a base que a torna segura.