La IA es la nueva amenaza interna, pero los planes para abordar el riesgo llegan una capa demasiado tarde

La brecha de Hugging Face y otros incidentes similares han estremecido al sector, pero las organizaciones deberían centrarse en el ciclo de vida del desarrollo de software (SDLC), no en la capa del modelo de IA.

La brecha de Hugging Face de julio, perpetrada por agentes de OpenAI, y los informes que poco después dieron cuenta de intrusiones similares con modelos de Anthropic y Meta han encendido las alarmas ante una categoría de ciberataque aparentemente nueva: la amenaza interna que representa la IA agéntica maliciosa.

Sin embargo, este tipo de incidente no es realmente nuevo. El hecho de que ocurriera en laboratorios de IA de vanguardia, que llevan varios años generando inquietud, le ha dado una nueva y ominosa apariencia, pero los incidentes ponen de manifiesto los mismos fallos y puntos ciegos que las empresas han ido acumulando durante años.

Tampoco actuaban con malicia deliberadamente. En la brecha de Hugging Face, los agentes de inteligencia artificial —unos 1.200— intentaban alcanzar un objetivo asignado en un entorno de prueba, aunque, hay que reconocerlo, su comportamiento no siempre fue honorable. Durante el proceso, se comunicaron a escondidas, aprovecharon vulnerabilidades y operaron sin ser detectados durante un par de meses; unos 700 de ellos escalaron el muro de su entorno «aislado» y obtuvieron acceso a Internet y a terceros.

Lo inquietante de estos incidentes no es solo que los agentes de IA sin restricciones puedan representar una amenaza grave, algo que sin duda ocurre. Pero si los agentes pueden descontrolarse justo delante de las narices del equipo de un laboratorio de IA de vanguardia —que cuenta con talento, recursos y motivación de sobra para vigilar de cerca la actividad—, también convendría preguntarse qué está pasando con los agentes de IA y las herramientas asistidas por IA que funcionan ahora mismo en el entorno de desarrollo de su organización. Si los principales actores de la IA no pueden ver en tiempo real lo que ocurre en su entorno, ¿qué posibilidades tiene una organización promedio?

La mejor manera de que las organizaciones controlen la IA agéntica empieza por reconocer que esta nueva situación no es más que una versión de alto impacto de un desafío de larga data. Sin embargo, abordarlo exige algo de lo que muchas empresas todavía carecen: visibilidad y observabilidad desde las primeras etapas del ciclo de vida del desarrollo de software (SDLC).

OpenAI y Hugging Face: una señal de lo que está por venir

En la brecha de Hugging Face, una combinación de modelos de IA de vanguardia, entre ellos el nuevo modelo insignia de OpenAI, GPT-5.6 Sol, lanzado en julio, intentaba resolver un objetivo específico: la prueba de referencia ExploitGym, que evalúa la capacidad de un agente para aprovechar fallos de seguridad. En una publicación sobre la brecha, Anthropic señaló que los modelos de IA, aunque «operaban con protecciones reducidas», pudieron saltarse las reglas, eludir los controles técnicos, colaborar mediante canales no autorizados y, en última instancia, emprender acciones arriesgadas.

Aunque la brecha se descubrió en julio, los agentes empezaron a comunicarse de manera indebida en mayo sin llamar la atención. METR y Redwood Research llevaron a cabo una investigación independiente y paralela junto con OpenAI y descubrieron que, aunque los agentes sabían que estaban infringiendo las reglas, pocos pensaron en avisar a OpenAI y, en cambio, siguieron adelante.

Tras el informe de OpenAI, Anthropic volvió a examinar sus evaluaciones de ciberseguridad anteriores y descubrió que un modelo Claude había eludido los controles en tres ocasiones en abril, había averiguado cómo conectarse a Internet y había obtenido acceso no autorizado a tres organizaciones externas. Poco después, Meta reveló que una versión de su modelo de IA agéntica más avanzado, Muse Spark 1.1, también escapó de un entorno aislado de pruebas de ciberseguridad e infiltró la red de una empresa externa.

En su informe, OpenAI también advirtió que el incidente era una señal de lo que está por venir y afirmó que pronto muchos modelos, incluidos los modelos de código abierto de uso cotidiano, tendrían la capacidad de hacer lo mismo. La reciente brecha de Medicare reforzó esta afirmación.

La IA debe gobernarse desde el nivel del SDLC

Estos ataques con IA agéntica han estremecido a la comunidad de la IA. OpenAI anunció que reforzará los controles en su entorno de pruebas y luego se sumó a Anthropic, Microsoft, Amazon Web Services y más de 100 empresas para emitir una advertencia sobre la inminente oleada de ciberataques contra infraestructuras críticas impulsados por la IA. La carta advertía que los ataques podrían producirse en cuestión de meses.

Las organizaciones que temen verse afectadas por ataques similares deben reforzar sus propias infraestructuras, empezando por el desarrollo de software. El verdadero problema no es solo la creciente sofisticación de la IA agéntica, sino también la falta de supervisión en tiempo real y de una vigilancia humana eficaz. En lugar de tratar el riesgo de la IA como una inevitabilidad tecnológica, las organizaciones deberían centrarse en cerrar las brechas humanas y de procesos.

En gran parte del sector, las organizaciones centran la supervisión y la observabilidad en la capa del modelo de IA, cuando para entonces ya es una capa demasiado tarde. Para ese momento, el caballo ya ha salido a medias del establo. La visibilidad, la supervisión, la observabilidad y la gobernanza deben aplicarse allí donde la IA entra inicialmente en la empresa: dentro del SDLC. Además, las organizaciones deben asegurarse de que los desarrolladores que usan herramientas de programación con IA tengan la formación y las habilidades necesarias para evitar que esas herramientas introduzcan defectos, vulnerabilidades y malos hábitos en el flujo de trabajo.

La mayoría de los defectos de software se originan durante la fase de desarrollo, y si los desarrolladores no tienen las habilidades necesarias para programar de forma segura o corregir los defectos introducidos por la IA, los problemas pueden proliferar rápidamente. Los desarrolladores necesitan un programa de formación que les proporcione las habilidades de seguridad necesarias y haga seguimiento de sus avances, tanto en la adquisición de esas habilidades como en su aplicación habitual en el trabajo.

A medida que la IA se integra cada vez más en las operaciones de las organizaciones, queda claro que la trazabilidad, la observabilidad y la gobernanza de la seguridad, tanto de los desarrolladores como de sus herramientas de programación con IA, se han convertido en el nuevo estándar para generar código seguro en las empresas.

Las amenazas continuas exigen respuestas continuas

Quizá alguna vez dimos por sentado que el software era relativamente inocuo y hacía lo que se le había programado para hacer. Si se producía un fallo, podía bloquearse o causar una interrupción del servicio, pero no pasaría al ataque. La IA, en especial la IA agéntica, ha dado un vuelco a esa suposición. Ya sea agéntico o asistido por desarrolladores, es necesario observar y gobernar continuamente el comportamiento de cualquier modelo de IA.

La amenaza emergente de la IA, ya sea que tenga como objetivo hospitales, plantas de tratamiento de agua, centrales eléctricas o empresas, puede resultar aterradora. Pero las organizaciones no están indefensas. Pueden implementar una gobernanza de la IA, pero deben desarrollarla desde cero. Al adoptar una cultura comprometida con el software seguro y ofrecer formación a los desarrolladores para lograr ese objetivo, las organizaciones pueden aportar un nivel muy necesario de observabilidad, trazabilidad y gobernanza frente a un problema potencial que, si no se controla, no hará más que empeorar.