Primero la seguridad en la IA

Comprarle a un niño una bicicleta nueva y la bicicleta recibirá toda la atención, no el casco brillante que la acompaña. Pero los padres aprecian el casco.

Temo que muchos de nosotros hoy seamos como niños cuando se trata de la IA. Estamos enfocados en lo genial que es y lo rápido que podemos ir con ella. No tanto en lo que podemos hacer para mantenernos seguros mientras la usamos. Es una lástima porque no se puede tener el beneficio de una sin la otra.

En pocas palabras, aplicar la IA sin planificar cuidadosamente la seguridad primero no solo es arriesgado. Es un camino recto hacia un acantilado.

¿Qué significa la seguridad de la IA?

La seguridad de la IA implica una serie de pasos. Pero quizás el elemento más importante es cuándo tomarlos. Para ser efectiva, la seguridad de la IA debe ser por diseño.

Esto significa que consideramos cómo prevenir daños antes de probarla. Figuramos cómo asegurarnos de que la IA opere y genere resultados en línea con nuestros valores y expectativas sociales primero, no después de obtener resultados horribles.

Diseñar para la seguridad de la IA también incluye pensar en cómo hacer que sea robusta, o capaz de funcionar de manera predecible incluso en situaciones adversas. Significa hacer que la IA sea transparente, para que las decisiones que toma la IA sean comprensibles, audibles y no sesgadas.

Pero también incluye echar un vistazo al mundo en el que la IA funcionará. ¿Qué salvaguardas institucionales y legales necesitamos, especialmente para cumplir con las regulaciones gubernamentales aplicables? Y no puedo enfatizar lo suficiente el componente de las personas: ¿Cuál será el impacto del uso de la IA en las personas que interactúan con ella?

La seguridad por diseño significa incorporar la seguridad de la IA en todos nuestros procesos, flujos de trabajo y operaciones antes de escribir nuestra primera solicitud.

Los riesgos superan las preocupaciones

No todos están de acuerdo. Cuando escuchan “seguridad primero”, algunos escuchan “dar un paso tan cuidadoso y lento que te dejas atrás”. Por supuesto, eso no es lo que significa la seguridad primero. No tiene que sofocar la innovación o ralentizar el tiempo de comercialización. Y no significa una corriente interminable de pilotos que nunca se escalan. Al contrario.

Significa entender los riesgos de no diseñar la seguridad en la IA. Considera solo unos pocos.

• Deloitte’s Center for Financial Services predice que GenAI podría ser responsable de pérdidas por fraude de US$40 mil millones en EE. UU. solo para 2027, desde US$12.3 mil millones en 2023, un CAGR del 32%.
• Decisiones sesgadas. Casos documentan atención médica sesgada debido a la IA que había sido entrenada con datos sesgados.
• Malas decisiones que inspiran más malas decisiones. Peor que una mala decisión inicial impulsada por una IA defectuosa, estudios indican que esas malas decisiones pueden convertirse en parte de cómo pensamos y tomamos decisiones futuras.
• Consecuencias reales. La IA que da consejos médicos malos ha sido responsable de resultados mortales para los pacientes. Problemas legales han resultado de citar una alucinación de la IA como precedente legal. Y errores de software resultantes de una asistente de IA que da información errónea han contaminado productos de la empresa y su reputación, y han llevado a una insatisfacción generalizada de los usuarios.

Y las cosas están a punto de ponerse aún más interesantes.

La aparición y adopción rápida de la IA agente, la IA que puede funcionar de forma autónoma para tomar decisiones basadas en decisiones que ha tomado, magnificará la importancia de diseñar para la seguridad de la IA.

Un agente de IA que pueda actuar en su nombre podría ser tremendamente útil. En lugar de decirle sobre los mejores vuelos para un viaje, podría encontrarlos y reservarlos para usted. Si desea devolver un producto, el agente de IA de una empresa podría no solo decirle la política de devolución y cómo presentar una devolución, sino también manejar toda la transacción para usted.

Genial, siempre y cuando el agente no alucine un vuelo o maneje mal su información financiera. O se equivoque en la política de devolución de la empresa y se niegue a devoluciones válidas.

No es difícil ver cómo los riesgos actuales de seguridad de la IA podrían cascarse fácilmente con una serie de agentes de IA que toman decisiones y actúan, especialmente ya que no es probable que actúen solos. Gran parte del valor real en la IA agente provendrá de equipos de agentes, donde los agentes individuales manejan partes de tareas y colaboran, agente a agente, para realizar el trabajo.

Entonces, ¿cómo abrazas la seguridad de la IA por diseño sin obstaculizar la innovación y matar su valor potencial?

Seguridad por diseño en acción

Las comprobaciones de seguridad ad hoc no son la respuesta. Pero integrar prácticas de seguridad en cada fase de una implementación de IA es.

Comienza con los datos. Asegúrate de que los datos estén etiquetados, anotados cuando sea necesario, libres de sesgos y de alta calidad. Esto es especialmente cierto para los datos de entrenamiento.

Entrena tus modelos con retroalimentación humana, ya que el juicio humano es esencial para dar forma al comportamiento del modelo. El aprendizaje de refuerzo con retroalimentación humana (RLHF) y otras técnicas similares permiten a los anotadores calificar y guiar respuestas, ayudando a los LLM a generar salidas que sean seguras y estén alineadas con los valores humanos.

Luego, antes de lanzar un modelo, pruébalo bajo estrés. Los equipos rojos que intentan provocar un comportamiento inseguro utilizando solicitudes adversas, casos límite y intentos de jailbreak pueden exponer vulnerabilidades. Arreglarlos antes de que lleguen al público mantiene las cosas seguras antes de que haya un problema.

Mientras esta prueba garantiza que tus modelos de IA sean robustos, sigue monitoreándolos con un ojo en las amenazas emergentes y los ajustes que pueden ser necesarios en los modelos.

De manera similar, monitorea regularmente las fuentes de contenido y las interacciones digitales en busca de signos de fraude. Críticamente, usa un enfoque híbrido de IA-humano, permitiendo que la automatización de IA se encargue del enorme volumen de datos que deben monitorearse, y que los humanos capacitados manejen las revisiones para la aplicación y la precisión.

Aplicar la IA agente requiere aún más cuidado. Un requisito básico: entrena al agente para que conozca sus limitaciones. Cuando se encuentra con incertidumbre, dilemas éticos, situaciones nuevas o decisiones de alto riesgo, asegúrate de que sepa cómo pedir ayuda.

Además, diseña la trazabilidad en tus agentes. Esto es especialmente importante para que sus interacciones ocurran solo con usuarios verificados, para evitar que actores fraudulentos influyan en las acciones de un agente.

Si parecen estar funcionando de manera efectiva, podría ser tentador dejarlos sueltos y dejar que hagan su trabajo. Nuestra experiencia dice que sigas monitoreándolos y las tareas que están cumpliendo para vigilar errores o comportamientos inesperados. Usa controles automatizados y revisiones humanas.

De hecho, un elemento esencial de la seguridad de la IA es la participación humana regular. Los humanos deben estar involucrados intencionalmente donde se requiera juicio crítico, empatía o sutileza y ambigüedad en una decisión o acción.

Nuevamente, para ser claro, estas son todas prácticas que construyes en la implementación de la IA con anticipación, por diseño. No son el resultado de algo que salió mal y luego apresurarse a averiguar cómo minimizar el daño.

¿Funciona?

Hemos estado aplicando una filosofía de seguridad de la IA y un marco de “por diseño” con nuestros clientes a lo largo de la aparición de GenAI y ahora en la vía rápida hacia la IA agente. Estamos encontrando que, contrario a las preocupaciones sobre que ralentiza las cosas, en realidad ayuda a acelerarlas.

La IA agente tiene el potencial de reducir el costo del soporte al cliente en un 25-50%, por ejemplo, mientras aumenta la satisfacción del cliente. Pero eso depende de la confianza.

Los humanos que usan la IA deben confiar en ella, y los clientes que interactúan con agentes humanos habilitados para la IA o con agentes de IA reales no pueden experimentar una sola interacción que socave su confianza. Una mala experiencia puede borrar la confianza en una marca.

No confiamos en lo que no es seguro. Así que cuando construimos la seguridad en cada capa de la IA que estamos a punto de lanzar, podemos hacerlo con confianza. Y cuando estamos listos para escalarla, podemos hacerlo rápidamente, con confianza.

Mientras que poner la seguridad de la IA en primer lugar puede parecer abrumador, no estás solo. Hay muchos expertos para ayudar y socios que pueden compartir lo que han aprendido y están aprendiendo para que puedas aprovechar el valor de la IA de manera segura sin ralentizar.

La IA ha sido un viaje emocionante hasta ahora, y a medida que el viaje se acelera, lo encuentro emocionante. Pero también me alegra que esté usando mi casco.