AI-First Significa Seguridad-First

Compra a un niño una bicicleta nueva, y la bicicleta recibirá toda la atención, no el casco brillante que la acompaña. Pero los padres aprecian el casco.

Tengo miedo de que muchos de nosotros hoy seamos como niños cuando se trata de IA. Estamos enfocados en lo genial que es y en lo rápido que podemos ir con ella. No tanto en lo que podemos hacer para mantenernos seguros mientras la usamos. Es una lástima porque no se puede tener el beneficio de uno sin el otro.

Simplemente, aplicar IA sin planificar cuidadosamente la seguridad primero no es solo arriesgado. Es un camino directo hacia un acantilado.

¿Qué Significa Seguridad de IA?

La seguridad de IA implica una serie de pasos. Pero quizás el elemento más importante es cuándo tomarlos. Para ser efectiva, la seguridad de IA debe ser por diseño.

Eso significa que consideramos cómo prevenir daños antes de tomarla para un paseo de prueba. Figuramos cómo asegurarnos de que la IA opere y genere resultados en línea con nuestros valores y expectativas sociales primero, no después de obtener resultados horribles.

Diseñar para la seguridad de IA también incluye pensar en cómo hacer que sea robusta, o capaz de funcionar de manera predecible incluso en situaciones adversas. Significa hacer que la IA sea transparente, para que las decisiones que toma la IA sean comprensibles, auditables y sin prejuicios.

Pero también incluye echar un vistazo al mundo en el que la IA funcionará. ¿Qué salvaguardas institucionales y legales necesitamos, especialmente para cumplir con las regulaciones gubernamentales aplicables? Y no puedo enfatizar lo suficiente el componente de las personas: ¿Cuál será el impacto del uso de la IA en las personas que interactúan con ella?

La seguridad por diseño significa incorporar la seguridad de IA en todos nuestros procesos, flujos de trabajo y operaciones antes de escribir nuestra primera solicitud.

Los Riesgos Superan las Preocupaciones

No todos están de acuerdo. Cuando escuchan “seguridad primero”, algunos escuchan “dar un paso tan cuidadoso y lento que te quedas atrás”. Por supuesto, eso no es lo que significa la seguridad primero. No tiene que sofocar la innovación o ralentizar el tiempo de llegada al mercado. Y no significa una corriente interminable de pilotos que nunca se escalan. Al contrario.

Significa entender los riesgos de no diseñar la seguridad en la IA. Considera solo unos pocos.

• Deloitte’s Center for Financial Services predice que GenAI podría ser responsable de pérdidas por fraude que alcanzarán los US$40 mil millones en EE. UU. solo para 2027, desde US$12.3 mil millones en 2023, un CAGR del 32%.
• Decisiones sesgadas. Casos documentan atención médica sesgada debido a la IA que había sido entrenada con datos sesgados.
• Malas decisiones que inspiran más malas decisiones. Peor que una mala decisión inicial impulsada por una IA defectuosa, estudios indican que esas malas decisiones pueden convertirse en parte de cómo pensamos y tomamos decisiones en el futuro.
• Consecuencias reales. La IA que da malos consejos médicos ha sido responsable de resultados mortales para los pacientes. Problemas legales han resultado de citar una alucinación de la IA como precedente legal. Y los errores de software resultantes de una asistente de IA que da información incorrecta han contaminado los productos de la empresa y su reputación, y han llevado a una insatisfacción generalizada del usuario.

Y las cosas están a punto de ponerse aún más interesantes.

La llegada y adopción rápida de la IA agente, la IA que puede funcionar de forma autónoma para tomar decisiones basadas en decisiones que ha tomado, magnificará la importancia de diseñar la seguridad de la IA.

Un agente de IA que pueda actuar en tu nombre podría ser tremendamente útil. En lugar de decirte sobre los mejores vuelos para un viaje, podría encontrarlos y reservarlos para ti. Si deseas devolver un producto, el agente de IA de una empresa podría no solo decirte la política de devolución y cómo presentar una devolución, sino también manejar toda la transacción para ti.

Genial, siempre y cuando el agente no alucine un vuelo o maltrate tu información financiera. O obtenga mal la política de devolución de la empresa y se niegue a devoluciones válidas.

No es difícil ver cómo los riesgos actuales de seguridad de IA podrían fácilmente aumentar con una serie de agentes de IA que corren alrededor tomando decisiones y actuando, especialmente ya que no es probable que actúen solos. Gran parte del valor real en la IA agente provendrá de equipos de agentes, donde los agentes individuales manejan partes de tareas y colaboran, agente a agente, para realizar el trabajo.

Así que, ¿cómo abrazas la seguridad de IA por diseño sin obstaculizar la innovación y matar su valor potencial?

Seguridad por Diseño en Acción

Las comprobaciones de seguridad ad hoc no son la respuesta. Pero integrar las prácticas de seguridad en cada fase de una implementación de IA es.

Comienza con los datos. Asegúrate de que los datos estén etiquetados, anotados cuando sea necesario, libres de sesgos y de alta calidad. Esto es especialmente cierto para los datos de entrenamiento.

Entrena tus modelos con retroalimentación humana, ya que el juicio humano es esencial para dar forma al comportamiento del modelo. El Aprendizaje de Refuerzo con Retroalimentación Humana (RLHF) y otras técnicas similares permiten a los anotadores calificar y guiar respuestas, ayudando a los LLM a generar salidas que sean seguras y estén alineadas con los valores humanos.

Luego, antes de lanzar un modelo, somételo a una prueba de estrés. Los equipos rojos que intentan provocar un comportamiento inseguro utilizando solicitudes adversas, casos límite y intentos de jailbreak pueden exponer vulnerabilidades. Arreglarlos antes de que lleguen al público mantiene las cosas seguras antes de que haya un problema.

Mientras que esta prueba garantiza que tus modelos de IA sean robustos, sigue monitoreándolos con un ojo en las amenazas emergentes y los ajustes que pueden ser necesarios en los modelos.

De manera similar, monitorea regularmente las fuentes de contenido y las interacciones digitales en busca de signos de fraude. Críticamente, utiliza un enfoque híbrido de IA-humano, permitiendo que la automatización de IA se encargue del enorme volumen de datos que deben monitorearse, y los humanos capacitados manejen las revisiones para la aplicación y garantizar la precisión.

Aplicar IA agente requiere aún más cuidado. Un requisito básico: entrena al agente para que conozca sus limitaciones. Cuando se encuentre con incertidumbre, dilemas éticos, nuevas situaciones o decisiones de alto riesgo, asegúrate de que sepa cómo pedir ayuda.

También, diseña la trazabilidad en tus agentes. Esto es especialmente importante para que sus interacciones ocurran solo con usuarios verificados, para evitar que actores fraudulentos influyan en las acciones de un agente.

Si parecen estar funcionando de manera efectiva, podría ser tentador soltarlos y dejar que hagan su cosa. Nuestra experiencia dice que sigas monitoreándolos y las tareas que están cumpliendo para vigilar errores o comportamientos inesperados. Utiliza controles automatizados y revisiones humanas.

De hecho, un elemento esencial de la seguridad de IA es la participación humana regular. Los humanos deben estar involucrados intencionalmente donde se requiera juicio crítico, empatía o sutileza y ambigüedad en una decisión o acción.

Nuevamente, para ser claro, estas son todas prácticas que construyes en la implementación de IA con anticipación, por diseño. No son el resultado de que algo salga mal y luego apresurarse a figurar cómo minimizar el daño.

¿Funciona?

Hemos estado aplicando una filosofía de Seguridad de IA Primero y un marco de “por diseño” con nuestros clientes a lo largo de la emergencia de GenAI y ahora en la vía rápida hacia la IA agente. Estamos encontrando que, contrariamente a las preocupaciones sobre que ralentiza las cosas, en realidad ayuda a acelerarlas.

La IA agente tiene el potencial de reducir el costo del soporte al cliente en un 25-50%, por ejemplo, mientras impulsa la satisfacción del cliente. Pero eso depende de la confianza.

Los humanos que usan IA deben confiar en ella, y los clientes que interactúan con agentes humanos habilitados para IA o con agentes de IA reales no pueden experimentar una sola interacción que socave su confianza. Una mala experiencia puede borrar la confianza en una marca.

No confiamos en lo que no es seguro. Así que, cuando construimos la seguridad en cada capa de la IA que estamos a punto de lanzar, podemos hacerlo con confianza. Y cuando estemos listos para escalarla, podemos hacerlo rápidamente, con confianza.

Mientras que poner en práctica la Seguridad de IA Primero puede parecer abrumador, no estás solo. Hay muchos expertos para ayudar y socios que pueden compartir lo que han aprendido y están aprendiendo para que puedas aprovechar el valor de la IA de manera segura sin ralentizarte.

La IA ha sido un viaje emocionante hasta ahora, y mientras el viaje se acelera, me encuentro emocionado. Pero también me alegra que esté usando mi casco.