La industria de la IA quiere nuestra confianza, pero primero necesita mejores controles

En seguridad, no podemos esperar a que algo salga mal para averiguar si nuestros controles funcionan. Los ponemos a prueba. Los desafiamos. Damos por hecho que, tarde o temprano, alguien encontrará la debilidad que se nos pasó por alto.

Eso es lo básico de la seguridad.

Entonces, ¿por qué la IA de vanguardia debería regirse por un estándar distinto?

A medida que los sistemas de IA se vuelven más autónomos y obtienen mayor acceso a sistemas del mundo real, estamos viendo algo que debería preocupar a cualquiera que haya trabajado en la defensa de la ciberseguridad: las capacidades avanzan más rápido que los controles.

Y la velocidad no es excusa para debilitar la seguridad. Es precisamente la razón por la que necesitamos reforzarla.

Una evaluación reciente de la organización sin fines de lucro Guidelight AI examinó las pruebas disponibles públicamente sobre las prácticas de control de la IA en Anthropic, Google, Meta, OpenAI y xAI. Ninguna obtuvo una nota superior a C+ en la evaluación general.

Eso no significa que estas empresas sean imprudentes. Tampoco significa que no estén aplicando controles adicionales a puerta cerrada.

Pero la seguridad no se basa en suposiciones. Si se nos pide que confiemos en sistemas cada vez más potentes, deberíamos exigir pruebas de que los controles que los rodean pueden resistir el mismo nivel de escrutinio que exigiríamos en cualquier otro ámbito.

Dejemos de tratar los fallos como historias interesantes

Cuando un agente de IA se comporta de forma inesperada, obtiene acceso no previsto o deja al descubierto una vulnerabilidad, la atención suele centrarse en lo que hizo la tecnología.

Es interesante.

Pero no es la pregunta más importante.

Un profesional de la seguridad quiere saber: ¿Se registró la actividad? ¿Alguien se dio cuenta de lo que estaba ocurriendo? ¿Las acciones peligrosas estaban sujetas a controles de autorización? ¿Alguien podía detener el sistema? ¿Había un plan de contención y alguien lo había probado?

Estas preguntas no son exclusivas de la IA. Llevamos años haciéndolas en el ámbito de la ciberseguridad.

Sin embargo, la prevención y la contención parecen seguir siendo puntos débiles del incipiente entorno de control de la IA de vanguardia. Las pruebas públicas sobre acciones sujetas a autorización, mecanismos de desconexión y contención de emergencia siguen siendo limitadas.

Eso debería importar más que lo novedoso del incidente. Cuando algo falla, quiero saber qué falló, qué impidió que la situación empeorara y qué cambió después.

La transparencia es útil. Aprender es aún mejor.

El verdadero problema de seguridad de la IA es la velocidad

No creo que la mayor amenaza a corto plazo sea que la IA invente de repente una categoría de ciberataque totalmente nueva. El problema más grave es mucho más práctico: la IA puede hacer que los ataques que ya conocemos se lleven a cabo mucho más rápido.

Una investigación que antes llevaba horas puede llevarse a cabo en minutos. Las técnicas de ataque pueden encadenarse con mayor rapidez. Las vulnerabilidades pueden identificarse y aprovecharse antes de que un proceso de seguridad centrado en las personas llegue siquiera a su primera llamada de escalamiento.

Esto es un problema porque gran parte de la infraestructura de seguridad actual sigue dando por sentado que habrá tiempo para responder.

A veces no lo habrá.

Si un ataque se desarrolla rápidamente, un proceso de respuesta basado en tickets, reuniones, aprobaciones y escalamiento manual puede quedar obsoleto antes de que alguien llegue al tercer paso.

Y ahí es donde la industria de la IA tiene trabajo por hacer.

Si los laboratorios de IA de vanguardia esperan que las empresas replanteen la visibilidad, la gestión de vulnerabilidades, la arquitectura y la respuesta a incidentes para la era de la IA, deberían demostrar que ellos han hecho lo mismo.

«Confíe en nosotros» no es un marco de control

He dedicado mi carrera al ámbito de las pruebas de seguridad, y hay un principio que sigue siendo válido: las buenas intenciones no demuestran que algo sea seguro. Las pruebas, sí.

• Se hacen pruebas.
• Se supervisa.
• Se intenta romper lo que se ha construido.

Se averigua qué pasa cuando los controles no se comportan como indica el diagrama de arquitectura. Y se garantiza que alguien tenga autoridad para detener el sistema cuando sea necesario. La IA de vanguardia debe someterse a ese mismo estándar.

Eso implica someter los controles a pruebas adversariales, aportar pruebas medibles de que funcionan y otorgar autoridad clara para apagar los sistemas cuando algo sale mal.

También implica replantear la contención.

Los laboratorios de IA de vanguardia no pueden improvisar medidas de contención después de que un agente de IA actúe fuera de los límites previstos. Al entrenar y probar modelos cada vez más capaces, deben asumir la responsabilidad por las acciones que esos sistemas pueden llevar a cabo. Para ello, hacen falta pruebas adversariales rigurosas, salvaguardas autorizadas de antemano, límites claros a la autoridad de los agentes y métodos probados para intervenir o apagar un sistema antes de que un fallo se propague.

El criterio humano sigue siendo importante. Pero los laboratorios que desarrollan estos sistemas deben establecer los límites, comprobar que se respeten y rendir cuentas cuando no sea así.

Su responsabilidad no consiste simplemente en demostrar lo que puede hacer un agente. Consiste en demostrar que puede operar de forma segura, que es posible controlar su comportamiento y que sus nuevas capacidades hacen que el mundo sea más seguro, no menos.

La confianza hay que ganársela

No sostengo que debamos frenar la innovación en IA hasta casi detenerla. Sostengo que la seguridad debe avanzar a la par. Si invertimos enormes recursos en hacer que la IA sea más capaz, debemos actuar con una urgencia comparable para garantizar que podamos defendernos de ella.

Pero, a medida que los laboratorios de vanguardia aceleran el entrenamiento y las pruebas de nuevos modelos de IA con capacidades cibernéticas, deben tener presentes a quienes defienden los sistemas. En primer lugar, ayudándolos a detectar las amenazas y responder a ellas con mayor rapidez. Y, más importante aún, evitando que esos sistemas se conviertan en amenazas. Esa responsabilidad también exige aceptar el escrutinio externo.

La revisión independiente no puede convertirse en algo que las empresas acepten solo cuando respalda la versión que quieren contar. Si los sistemas de IA de vanguardia son lo bastante potentes como para cambiar el panorama de las amenazas, sus controles deben ser lo bastante sólidos como para resistir pruebas independientes rigurosas.

La industria de la IA quiere que confiemos en ella.

Como profesional de la seguridad, estoy dispuesto a hacerlo. Pero primero, muéstrenme los controles.