AI-First Significa Segurança-First

Compre uma bicicleta nova para uma criança, e a bicicleta receberá toda a atenção – não o capacete brilhante que a acompanha. Mas os pais apreciam o capacete.

Tenho medo de que muitos de nós hoje sejamos mais como crianças quando se trata de IA. Estamos focados em quão legal é e quão rápido podemos ir com ela. Não tanto no que podemos fazer para nos manter seguros enquanto a usamos. É uma pena, porque você não pode ter o benefício de um sem o outro.

Em resumo, aplicar IA sem planejar cuidadosamente a segurança primeiro não é apenas arriscado. É um caminho reto para fora de um penhasco.

O Que Significa Segurança de IA?

A segurança de IA envolve uma série de etapas. Mas talvez o elemento mais importante seja quando tomá-las. Para ser eficaz, a segurança de IA deve ser por design.

Isso significa que consideramos como prevenir danos antes de levá-la para um teste. Descobrimos como garantir que a IA opere e gere resultados de acordo com nossos valores e expectativas sociais primeiro – e não depois de obtermos resultados horríveis.

Projetar para a segurança de IA também inclui pensar em como torná-la robusta, ou capaz de realizar tarefas de forma previsível, mesmo em situações adversas. Significa tornar a IA transparente, para que as decisões que a IA toma sejam compreensíveis, auditáveis e imparciais.

Mas também inclui dar uma olhada no mundo em que a IA funcionará. Quais salvaguardas institucionais e legais precisamos, especialmente para cumprir com as regulamentações governamentais aplicáveis? E não posso enfatizar o suficiente o componente humano: Qual será o impacto do uso de IA nas pessoas que interagem com ela?

Segurança por design significa incorporar a segurança de IA em todos os nossos processos, fluxos de trabalho e operações antes de digitarmos nossa primeira solicitação.

Os Riscos Superam as Preocupações

Não todos concordam. Quando ouvem “segurança primeiro”, alguns ouvem “dê um passo tão cuidadoso e devagar que você fica para trás”. Claro, isso não é o que significa segurança primeiro. Não tem que sufocar a inovação ou retardar o tempo de mercado. E não significa uma corrente interminável de pilotos que nunca escalonam. Pelo contrário.

Significa entender os riscos de não projetar segurança na IA. Considere apenas alguns.

• Deloitte’s Center for Financial Services prevê que a GenAI poderia ser responsável por perdas de fraude que atingirão US$ 40 bilhões nos EUA sozinho até 2027, a partir de US$ 12,3 bilhões em 2023, um CAGR de 32%.
• Decisões tendenciosas. Casos documentados cuidados médicos tendenciosos devido à IA que havia sido treinada em dados tendenciosos.
• Decisões ruins que inspiram mais decisões ruins. Pior do que uma decisão inicial ruim estimulada por IA defeituosa, estudos indicam que essas decisões ruins podem se tornar parte de como pensamos e tomamos decisões futuras.
• Consequências reais. IA que fornece conselhos médicos ruins foi responsável por resultados letais para pacientes. Questões legais resultaram de citar uma alucinação de IA como precedente legal. E erros de software resultantes de um assistente de IA fornecendo informações erradas contaminaram produtos e reputação de empresas e levaram a uma insatisfação generalizada dos usuários.

E as coisas estão prestes a ficar ainda mais interessantes.

A chegada e adoção rápida de IA agente, IA que pode funcionar de forma autônoma para tomar ações com base em decisões que tomou, magnificará a importância de projetar para a segurança de IA.

Um agente de IA que possa agir em seu nome pode ser tremendamente útil. Em vez de dizer sobre os melhores voos para uma viagem, ele poderia encontrá-los e reservá-los para você. Se você quiser devolver um produto, o agente de IA de uma empresa poderia não apenas dizer a política de devolução e como arquivar uma devolução, mas também lidar com toda a transação para você.

Ótimo – desde que o agente não alucine um voo ou maltrate suas informações financeiras. Ou obtenha a política de devolução da empresa errada e se recuse a devolver válidos.

Não é difícil ver como os riscos atuais de segurança de IA poderiam facilmente se espalhar com uma série de agentes de IA correndo por aí, tomando decisões e agindo, especialmente desde que eles não estarão agindo sozinhos. Grande parte do valor real em IA agente virá de equipes de agentes, onde agentes individuais lidam com partes de tarefas e colaboram – agente para agente – para realizar o trabalho.

Então, como você abraça a segurança de IA por design sem prejudicar a inovação e matar seu potencial valor?

Segurança por Design em Ação

Verificações de segurança ad hoc não são a resposta. Mas integrar práticas de segurança em cada fase de uma implementação de IA é.

Comece com os dados. Certifique-se de que os dados estejam rotulados, anotados quando necessário, livres de viés e de alta qualidade. Isso é especialmente verdadeiro para dados de treinamento.

Treine seus modelos com feedback humano, pois o julgamento humano é essencial para moldar o comportamento do modelo. Aprendizado por Reforço com Feedback Humano (RLHF) e outras técnicas semelhantes permitem que os anotadores classifiquem e orientem respostas, ajudando os LLMs a gerar saídas seguras e alinhadas com os valores humanos.

Em seguida, antes de liberar um modelo, faça um teste de estresse. Equipes vermelhas que tentam provocar comportamento inseguro usando prompts adversários, casos de bordo e tentativas de fuga podem expor vulnerabilidades. Corrigi-los antes que eles atinjam o público mantém as coisas seguras antes que haja um problema.

Enquanto esse teste garante que seus modelos de IA sejam robustos, continue monitorando-os com um olho em ameaças emergentes e ajustes que possam ser necessários nos modelos.

De forma semelhante, monitore regularmente as fontes de conteúdo e interações digitais para sinais de fraude. Criticamente, use uma abordagem híbrida humano-IA, permitindo que a automação de IA cuide do enorme volume de dados a ser monitorado, e humanos qualificados lidem com revisões para aplicação e garantir precisão.

Aplicar IA agente requer ainda mais cuidado. Um requisito básico: treine o agente para conhecer suas limitações. Quando ele encontrar incerteza, dilemas éticos, novas situações ou decisões de alto risco, certifique-se de que ele saiba como pedir ajuda.

Além disso, projete a rastreabilidade em seus agentes. Isso é especialmente importante para que suas interações ocorram apenas com usuários verificados, para evitar que atores fraudulentos influenciem as ações de um agente.

Se eles parecem estar funcionando de forma eficaz, pode ser tentador soltá-los e deixá-los fazerem seu trabalho. Nossa experiência diz para continuar monitorando-os e as tarefas que eles estão realizando para observar erros ou comportamento inesperado. Use verificações automatizadas e revisão humana.

Na verdade, um elemento essencial da segurança de IA é a participação humana regular. Humanos devem ser intencionalmente envolvidos onde julgamento crítico, empatia ou nuances e ambiguidade estão envolvidos em uma decisão ou ação.

Novamente, para esclarecer, essas são todas práticas que você constrói na implementação de IA com antecedência, por design. Elas não são o resultado de algo dando errado e então correr para descobrir como minimizar os danos.

Isso Funciona?

Nós temos aplicado uma filosofia de Segurança de IA Primeiro e um quadro de “por design” com nossos clientes ao longo do surgimento da GenAI e agora na via rápida para a IA agente. Estamos descobrindo que, contrariamente às preocupações sobre retardar as coisas, na verdade ajuda a acelerá-las.

A IA agente tem o potencial de reduzir o custo do suporte ao cliente em 25-50%, por exemplo, enquanto impulsiona a satisfação do cliente. Mas isso tudo depende da confiança.

Humanos usando IA devem confiar nela, e os clientes que interagem com agentes humanos habilitados para IA ou com agentes de IA reais não podem experimentar uma única interação que comprometa sua confiança. Uma experiência ruim pode destruir a confiança em uma marca.

Nós não confiamos no que não é seguro. Então, quando construímos segurança em cada camada da IA que estamos prestes a lançar, podemos fazer isso com confiança. E quando estamos prontos para escaloná-la, podemos fazê-lo rapidamente – com confiança.

Embora colocar a Segurança de IA Primeiro em prática possa parecer esmagador, você não está sozinho. Há muitos especialistas para ajudar e parceiros que podem compartilhar o que aprenderam e estão aprendendo para que você possa aproveitar o valor da IA de forma segura sem retardar.

A IA tem sido uma viagem emocionante até agora, e à medida que a viagem acelera, eu acho emocionante. Mas também estou feliz por estar usando meu capacete.