Líderes de pensamento

Por que Proibir a IA Aumenta os Riscos de Segurança e Como as Instituições Devem Responder

mm
Adicione Unite.AI às suas fontes preferidas no Google

Ao longo dos EUA, distritos escolares e organizações do setor público estão movendo-se para restringir ou bloquear o acesso a tecnologias de IA geradora (GenAI) ou ferramentas específicas. No Colorado, o Distrito Escolar de Boulder Valley recentemente proibiu o ChatGPT nas redes do distrito, citando preocupações sobre mau uso, segurança e integridade acadêmica.

O instinto de reduzir a exposição a incidentes de segurança ou mau uso de dados é compreensível. Plataformas com guardrails fracos ou compromissos de privacidade pouco claros, como o DeepSeek, merecem restrição e escrutínio. Mas proibir o acesso a ferramentas de GenAI não reduz significativamente o risco; geralmente, apenas o transfere para ambientes onde a supervisão some.

Uma pesquisa do College Board encontrou que 84% dos estudantes do ensino médio relataram usar GenAI para trabalhos escolares, mesmo quando 45% dos diretores relataram alguma restrição ao acesso à IA na escola. Da mesma forma, um relatório da IBM encontrou que 80% dos trabalhadores de escritório usam IA, mas apenas 22% dependem exclusivamente de ferramentas fornecidas pelo empregador.

Políticas de acesso por si só não determinam o comportamento. Estudantes podem tirar seus telefones e usar qualquer ferramenta de IA sobre sua rede de dados celulares, ou usá-la enquanto estão em casa ou em wifi público. Eles também podem usar VPNs, desktops remotos e plugins para contornar restrições. Funcionários podem fazer o mesmo para contornar controles de local de trabalho.

Organizações devem assumir que, quando há uma vontade de usar IA, há uma maneira. Quando a tecnologia é limitada de uma forma que empurra o uso além da visibilidade institucional, o risco de IA sombra aumenta. Não há supervisão sobre quais informações são inseridas em prompts ou quais dados são retidos pelo modelo. Qualquer controle sobre segurança some imediatamente.

Além do risco de IA sombra, proibições criam uma lacuna de alfabetização, deixando estudantes completamente despreparados para usar a tecnologia que será uma grande parte de seu futuro. Essas ferramentas estão cada vez mais incorporadas em motores de busca, plataformas de negócios, suites de produtividade e dispositivos pessoais. Uma pesquisa da Pew Research encontrou que 62% dos adultos americanos dizem interagir com IA pelo menos várias vezes por semana. É quase garantido que estudantes e funcionários encontrarão sistemas de GenAI independentemente das políticas institucionais.

Nesse ambiente, a educação é a salvaguarda mais confiável contra preocupações sobre mau uso ou segurança, e para garantir que estudantes e trabalhadores estejam bem preparados para usar uma ferramenta que será integral para suas carreiras. Ensinar uso responsável e ético equipa os usuários para reconhecer riscos de dados e tomar decisões informadas onde quer que encontrem esses sistemas.

Programas de educação devem se concentrar em como os grandes modelos de linguagem (LLMs) processam e retêm dados, como identificar alucinações, como verificar saídas geradas por IA, e como identificar campanhas de phishing e imagens geradas por IA, para citar apenas alguns. Ensine os usuários a serem céticos. As saídas de IA são frequentemente apresentadas com confiança e em linguagem polida, o que pode criar uma ilusão de autoridade. Sem treinamento, os usuários podem assumir que uma resposta bem formatada é intrinsicamente precisa.

A capacidade de questionar o conteúdo digital é uma defesa de linha de frente à medida que deepfakes e campanhas de phishing aprimoradas por IA se tornam mais sofisticadas. Uma pesquisa da Gartner encontrou que 62% das organizações experimentaram um ataque de deepfake no ano passado, e 32% enfrentaram um ataque a aplicativos de IA. A frequência e o escopo desses incidentes devem continuar aumentando.

Instituições do setor público, como escolas e governos locais, estão particularmente expostas a engenharia social habilitada por deepfakes, pois grande parte de sua atividade é gravada e disponibilizada publicamente. Snippets de áudio de reuniões públicas podem ser manipulados e usados para gerar chamadas de voz convincentes. Já vimos atores ameaçadores usarem isso para fraude, como redirecionar fundos durante transações sensíveis. Embora isso aconteça mais frequentemente em casos direcionados, os usuários que nunca foram treinados para reconhecer essas técnicas, ou mesmo saber que elas são possíveis, estão em desvantagem desde o início.

Após a educação, as organizações devem ter políticas claramente comunicadas sobre o uso e governança de IA. Essas políticas devem definir ferramentas aprovadas, casos de uso aceitáveis e quais dados podem e não podem ser inseridos em quais modelos. As políticas precisam ser aplicadas consistentemente em todos os departamentos, em vez de variar de sala de aula para sala de aula ou de escritório para escritório. Expectativas claras reduzem a ambiguidade e reforçam a responsabilidade.

Em vez de restrições gerais, as organizações devem buscar moldar como a tecnologia é usada na prática. Quando uma organização endossa uma ferramenta que é acessível, segura e funciona bem, ela se torna o padrão para a maioria dos usuários. O uso casual de IA sombra declina porque há uma alternativa direta que não inclui baixar uma VPN para usá-la.

Organizações e instituições estão procurando fornecer acesso seguro a LLMs de uma forma que seus dados sejam protegidos e não compartilhados ou usados para treinamento. Uma categoria crescente de ferramentas de habilitação e segurança de IA está surgindo para fazer exatamente isso. Elas podem fornecer acesso a vários LLMs enquanto mantêm os dados da instituição seguros e containerizados. Acordos de retenção zero de dados fornecem o quadro jurídico para garantir que os dados da organização permaneçam de propriedade da empresa ou instituição, e o LLM não possa ser treinado neles. Além disso, se um funcionário deixar a instituição, qualquer uso de IA, fluxos de trabalho ou dados permanecerá de propriedade da organização.

Guardrails técnicos também podem ser aplicados no nível de recurso. Uma instituição pode permitir que estudantes ou funcionários façam perguntas gerais dentro de um LLM sancionado, enquanto desabilita uploads de arquivos, compartilhamento de documentos ou outras capacidades de alto risco. Essas configurações preservam os benefícios de produtividade sem abrir a porta para exposição de dados descontrolada.

Ferramentas mais avançadas podem anonimizar automaticamente informações sensíveis antes que elas cheguem a um modelo. Por exemplo, substituindo nomes de pacientes ou identificadores por espaços reservas neutros, para que médicos e enfermeiros possam usar GenAI sem expor dados protegidos. Outras integram controles de prevenção de perda de dados que detectam e bloqueiam números de seguridade social, dados de contas financeiras ou outras informações regulamentadas de serem submetidas em prompts.

Políticas claras com guardrails técnicos, construídas sobre uma base de educação, criam a melhor defesa, especialmente à medida que a tecnologia muda tão rapidamente. A GenAI está evoluindo mais rápido do que a maioria das organizações do setor público – e seus orçamentos – pode adaptar. Tentar bloquear cada novo modelo à medida que emerge é insustentável, porque, no momento em que uma plataforma é restringida, outra ganha tração. Usuários treinados para entender os riscos subjacentes podem se adaptar a ferramentas e versões.

A segurança em um ambiente habilitado por IA depende de reconhecer a realidade de que a GenAI agora está incorporada à vida diária. Não há como colocar o gênio de volta na garrafa. Proibições gerais podem sinalizar cautela, mas frequentemente trocam riscos visíveis e gerenciáveis por exposição invisível e não gerenciada. Ensine uma pessoa a usar IA de forma responsável, e ela estará preparada para o que vier a seguir.

Christopher Morton atua como Diretor de Informação da Logically, liderando as equipes de IT Ops, Desenvolvimento de Produto Técnico, Centro de Operações de Rede e Serviços de Nuvem. Ele se juntou à equipe da Logically por meio da aquisição da The Network Support Company em 2021, onde atuou como CTO. Morton começou sua carreira na The Network Support Company em 2005 e foi fundamental para ajudar a lançar, gerenciar e crescer as ofertas de serviços gerenciados.