Líderes de pensamento

Descobrindo os Riscos Ocultos da Inteligência Artificial Sombra

mm
Adicione Unite.AI às suas fontes preferidas no Google

Não demorou muito para as empresas experimentarem o uso generalizado de Inteligência Artificial Geradora (GenAI) entre seus funcionários. No entanto, quando se trata de riscos de GenAI, as ferramentas conhecidas dentro de sua organização não são as que você deve se preocupar mais. São as que você não conhece que devem mantê-lo acordado à noite.

Graças à rápida expansão de ferramentas de GenAI, como ChatGPT, Copilot, Gemini e Perplexity, além de muitos assistentes especializados baseados em SaaS, os funcionários estão adotando-os mais rápido do que as equipes de segurança podem acompanhar. E esse uso está criando um ponto cego em rápida expansão conhecido como inteligência artificial sombra.

Se a inteligência artificial sombra soa familiar, é porque ela empresta do termo inteligência artificial sombra, usado para descrever o uso de ferramentas e serviços não aprovados no local de trabalho. Mas com a inteligência artificial sombra, as apostas podem ser ainda mais altas. Em vez de um aplicativo de compartilhamento de arquivos renegado, a inteligência artificial sombra pode resultar em dados sensíveis colados em um prompt de chatbot, ingeridos em modelos externos e expostos desconhecidamente a sistemas de terceiros.

A inteligência artificial sombra representa uma das ameaças menos visíveis, mas mais urgentes, na segurança de dados de empresas hoje.

O que é Inteligência Artificial Sombra?

Inteligência Artificial Sombra refere-se ao uso não autorizado de ferramentas de IA – especialmente GenAI – por funcionários sem o conhecimento ou aprovação das equipes de TI ou segurança da empresa. Dentro de uma organização, os usuários podem ser uma equipe de marketing redigindo posts de blog com modelos de linguagem grande (LLMs), uma equipe jurídica explorando linguagem de contrato em ferramentas de IA ou engenheiros depurando código com invólucros GPT gratuitos.

E, embora essa experimentação possa parecer inofensiva, o que está sendo compartilhado com essas ferramentas pode não ser. Pode ser slides de estratégia confidenciais ou informações de clientes. Esses dados acabam em prompts não criptografados, sem governança e sem como rastrear o que acontece em seguida.

Por que a Inteligência Artificial Sombra é um Problema?

A questão da inteligência artificial sombra é problemática porque basta um funcionário com boas intenções e acesso ao ChatGPT para criar um risco de segurança de dados. Ao contrário de um hacker, a inteligência artificial sombra não é maliciosa, mas isso não a torna menos perigosa. Sempre que dados sensíveis são adicionados a um prompt, eles estão potencialmente expostos ao modelo, ao fornecedor e a qualquer pessoa com acesso aos logs. Eles podem até ressurgir em uma resposta a outro prompt de usuário. E o pior é que você provavelmente nunca saberá que isso aconteceu.

Aqui estão cinco riscos-chave de inteligência artificial sombra a serem considerados.

1. Vazamento de dados via entradas de prompt – Campos de prompt são um buraco negro de segurança de dados. Uma vez que informações sensíveis, como código-fonte, documentos de fusões e aquisições e detalhes de salário, são compartilhadas com uma ferramenta de GenAI, elas estão fora de controle. Mesmo que o fornecedor de IA prometa que os dados não são retidos, a aplicação é incerta e há poucas garantias quanto ao treinamento ou telemetria.

2. Falta de controles de acesso ou logs de auditoria – Ao contrário de aplicativos de empresa aprovados, a maioria das ferramentas de GenAI não oferece controles de acesso baseados em função, permissões granulares ou logs de atividade, o que significa que as equipes de segurança não têm visibilidade sobre quem acessou quais dados ou quando. Se houver um incidente, não há nada para investigar.

3. Violações de conformidade – Muitas das inúmeras regulamentações de conformidade que as organizações devem seguir exigem que dados regulamentados sejam armazenados, processados e acessados de maneiras muito específicas. Alimentar esses dados em um modelo de IA externo pode violar essas regras, expor sua organização a riscos legais, multas e divulgações de violação obrigatórias.

4. Circulação de informações desatualizadas ou tendenciosas – Ferramentas de GenAI frequentemente fornecem respostas com confiança e as posicionam como fatos, mesmo quando estão muito erradas. Confiar nesses resultados para mensagens de cliente, resumos de conformidade ou relatórios financeiros sem validação pode levar a decisões de negócios baseadas em dados imprecisos. Alucinações ocorrem regularmente e não parecem estar desaparecendo, mesmo à medida que esses LLMs ficam mais inteligentes.

5. Inteligência Artificial Sombra que se torna dados sombra – As saídas das ferramentas de GenAI, incluindo resumos e trechos de código, frequentemente são salvas, compartilhadas e reutilizadas. Como foram criadas fora de fluxos de trabalho formais, esses arquivos se tornam dados sombra não rastreados, não classificados e não protegidos.

Na maioria dos casos, com a inteligência artificial sombra, ninguém na segurança tem ideia de quando ocorre uma violação. Esses exemplos do mundo real podem estar acontecendo em sua organização:

  • Um engenheiro de software júnior cola código proprietário em um depurador baseado em GPT gratuito.
  • Um representante de vendas alimenta a lista de clientes do último trimestre em um escritor de e-mail de IA para gerar pitches de upsell.
  • Um gerente de RH usa uma ferramenta de IA externa para analisar respostas a pesquisas de satisfação de funcionários.
  • Um analista financeiro pede ao ChatGPT que simplifique a linguagem de previsões de receita sensíveis para executivos.
  • Um advogado pede à GenAI que reescreva um contrato usando uma cláusula confidencial de um acordo de cliente.

Por que as Ferramentas de Segurança Tradicionais Perdem a Inteligência Artificial Sombra

Pilhas de segurança legadas não são projetadas para ameaças baseadas em prompts de GenAI. Por exemplo, um firewall não pode bloquear ferramentas de IA baseadas em navegador. Um CASB não verá o que está sendo digitado em janelas de chat. E um SIEM não alertará sobre quem acabou de pedir a um LLM que resumisse propriedade intelectual sensível.

A inteligência artificial sombra opera na camada de aplicativo e vive no navegador, onde a visibilidade é mais fraca. Os funcionários também usam seus dispositivos pessoais. Não há plugin para impedi-los, nenhuma marca d’água para rastrear quais dados foram vazados e nenhum alerta quando os dados cruzam a linha. E, a essa altura, se aparecer em um alerta de DLP, os dados já estão expostos.

Como Identificar e Remediar Riscos de Inteligência Artificial Sombra

Você não pode controlar o que não pode ver, e com a GenAI, a maioria das organizações está voando às cegas. Ferramentas tradicionais não foram projetadas para entender interações baseadas em prompts ou rastrear o que acontece após um usuário clicar em “Enter”.

No entanto, novas abordagens de segurança impulsionadas por IA estão à altura do desafio para ajudar as organizações a trazer a GenAI sombra para a luz. Aqui estão algumas das salvaguardas que soluções avançadas oferecem:

Descoberta de inteligência artificial sombra – Essas ferramentas identificam quais aplicativos de GenAI os usuários estão utilizando, mesmo os baseados em navegador que contornam controles tradicionais. Elas analisam o movimento de dados, padrões de acesso e contexto para detectar violações sem exigir agentes de endpoint ou monitoramento invasivo.

Classificação do que é sensível – Soluções modernas usam IA consciente de contexto para entender tanto o conteúdo quanto o contexto por trás dos dados. Isso significa que elas podem sinalizar riscos, como uma projeção de receita incorporada em uma apresentação do PowerPoint ou dados de cliente inseridos em um rascunho de e-mail. É o tipo de conteúdo que os funcionários podem alimentar na GenAI sem dar uma segunda thought.

Prevenção de comportamento de prompt arriscado – Uma vez que os dados sensíveis são descobertos e sua localização é identificada, a segurança de dados de IA ajuda a prevenir que sejam expostos. Essas ferramentas sinalizam, retiram ou bloqueiam entradas de prompt arriscadas antes que elas deixem a organização.

Limpeza de dados sombra – Prompts de GenAI frequentemente geram uma onda de novos arquivos, como resumos, rascunhos e respostas, que são salvos, compartilhados e esquecidos. Plataformas de segurança de dados avançadas identificam esses artefatos downstream, detectam riscos de exposição (como acesso super-permitido ou armazenamento inadequado) e os remediem antes que a perda de dados se torne manchete.

A inteligência artificial sombra não é um risco teórico. É real, está crescendo e está acontecendo em seu ambiente agora, seja você tenha visto ou não. Proibir ferramentas de GenAI não é realista, mas fechar os olhos é extremamente arriscado. As organizações precisam de visibilidade, controle e inteligência em torno do uso de GenAI — não apenas para o que sai, mas para o que entra.

Novas abordagens estão disponíveis que descobrem comportamento arriscado, prevenem exposição acidental e limpam a bagunça de dados que a IA e a inteligência artificial sombra deixam para trás.

A inteligência artificial sombra não é um problema teórico, mas sim uma realidade que está acontecendo agora. As organizações precisam de soluções para identificar e remediar esses riscos, garantindo a segurança de seus dados e a conformidade com as regulamentações.

tic, mas fechar os olhos é extremamente arriscado. As organizações precisam de visibilidade, controle e inteligência em torno do uso de GenAI — não apenas para o que sai, mas para o que entra. Novas abordagens estão disponíveis que descobrem comportamento arriscado, prevenem exposição acidental e limpam a bagunça de dados que a IA e a inteligência artificial sombra deixam para trás.

Karthik Krishnan é Fundador e CEO da Concentric.ai. Antes de se juntar à Concentric, Karthik foi VP, Produtos de Segurança na Aruba/HPE, onde gerenciou a carteira de segurança da empresa (anteriormente, Karthik foi VP, Produtos na Niara, uma empresa de análise de segurança focada em análise de comportamento de usuários e entidades, que foi adquirida pela Aruba/HPE). Karthik tem mais de 20 anos de experiência em engenharia e marketing, ocupando cargos de liderança em organizações importantes da indústria, como Intel, Microsoft, Juniper Networks, PGP Corporation, Symantec e Embrane. Karthik é formado em Engenharia pelo Instituto de Tecnologia da Índia, Madras, Índia, e possui um MBA com distinção pela Kellogg School of Management, onde foi um bolsista F.C. Austin.