Los humanos se aferran con todas sus fuerzas mientras la IA acelera la entrega de software

Durante la mayor parte de la historia del desarrollo de software, las personas han sido el control. Un desarrollador hace un cambio, otra persona lo revisa, alguien lo aprueba y, finalmente, se despliega.

La IA está acelerando todo ese sistema mientras seguimos intentando mantener a las personas en el centro. Los desarrolladores ahora pueden crear código y cambios en segundos. Los agentes pueden trabajar a través de repositorios, herramientas, infraestructura y otros sistemas con menos intervención humana.

Nuestro instinto es volver a incluir a los humanos en el proceso. Revisamos la solicitud de extracción, aprobamos la llamada de la herramienta, verificamos el cambio y confirmamos el despliegue porque queremos asegurarnos de que la IA no haya hecho algo que no debía. Nos aferramos con todas nuestras fuerzas.

Ese instinto tiene sentido. La revisión humana nos ha dado una forma de mantener el control a medida que el software avanza hacia la producción. Pero la IA está comenzando a operar a una velocidad y volumen donde los humanos no pueden seguir siendo la unidad de escala para la gobernanza.

La IA ya se mueve más rápido que la revisión humana

La primera ola de IA generativa en el desarrollo de software se centró principalmente en ayudar a los desarrolladores a escribir código más rápido. Eso por sí solo cambia la entrega de software. Más código implica más cambios en aplicaciones, infraestructura y bases de datos que atraviesan pruebas, seguridad, revisión, despliegue y producción.

El problema no es necesariamente que la IA genere cambios de peor calidad. Genera más cambios, más rápido. Si el control de toda esa nueva producción depende de otra persona revisando cada cambio, eventualmente la lógica deja de funcionar.

Ya estamos viendo señales de ello. Anthropic informó recientemente que los usuarios de Claude Code aprueban aproximadamente el 93 % de los avisos de permiso. La compañía descubrió que los avisos repetidos pueden crear fatiga de aprobación, con personas prestando menos atención a medida que aumenta el número de aprobaciones. Anthropic ahora está usando un clasificador automatizado para evaluar acciones y detener las potencialmente peligrosas en lugar de pedir a una persona que apruebe todo.

Piense en lo que eso indica sobre la supervisión humana. Si alguien aprueba el 93 % de las veces, agregar otra aprobación no brinda necesariamente más control. En algún punto, el humano se convierte en otro paso del flujo de trabajo.

Podemos usar la IA para crear más software. No podemos responder creando una operación de revisión humana igualmente grande detrás de ella.

La IA está pasando de crear código a tomar acción

Los asistentes de codificación dieron a la IA un papel en el desarrollo. Los agentes le otorgan a la IA la capacidad de participar en gran parte del ciclo de vida del desarrollo de software (SDLC). Un agente puede recibir un objetivo, decidir cómo lograrlo, usar herramientas, observar los resultados y ajustar lo que hace a continuación.

En ingeniería de software, eso puede significar modificar archivos, ejecutar comandos, interactuar con repositorios, llamar a APIs, probar código o trabajar con la infraestructura. Las personas también se están sintiendo más cómodas dejando que los agentes trabajen por su cuenta. En un estudio de millones de interacciones humano‑agente, Anthropic encontró que los usuarios experimentados de Claude Code usaron la auto‑aprobación completa en más del 40 % de las sesiones, aproximadamente el doble de la tasa de los usuarios nuevos.

Eso no significa que los agentes autónomos estén ejecutando entornos de producción en todas partes hoy. No lo están. Pero el desarrollo de software nos brinda una visión temprana de hacia dónde se dirige esto.

Hoy, la IA genera más cambios, y la revisión humana comienza a resentirse. Luego, la IA participará en más partes del SDLC. Eventualmente, los agentes crearán, validarán, desplegarán, observarán y remediarán cambios con mucho menos involucramiento humano.

En cada paso, estamos eliminando otro punto donde antes una persona proporcionaba control. La pregunta pasa de si la IA puede hacer el trabajo a qué se le debería permitir hacer a la IA por sí sola.

El permiso no es autoridad

Los agentes necesitan acceso para realizar trabajo útil. Un agente que ayuda a desplegar software puede necesitar acceso a un repositorio, sistema CI/CD, entorno en la nube o base de datos. Si se elimina ese acceso, también se elimina gran parte de lo que hace útil al agente.

Pero el acceso y la autoridad no son lo mismo. Darle a un agente permiso para acceder a un sistema no significa que deba tener la autoridad para ejecutar todas las acciones disponibles dentro de ese sistema.

El control de acceso tradicional puede indicarnos si un agente tiene permiso para alcanzar algo. También necesitamos una forma de determinar si la acción específica que desea realizar debe ejecutarse. Eso se vuelve más importante cuando el sistema que toma la decisión puede interpretar una tarea de manera diferente a la persona que la asignó, encontrar un obstáculo y elegir otro camino, o usar una herramienta legítima de una forma que nadie anticipó.

OWASP describe una versión de este problema como Agencia Excesiva. Señala la funcionalidad, permisos y autonomía excesivos como causas de acciones dañinas y recomienda una aprobación independiente para acciones de alto impacto.

NVIDIA está abordando el mismo problema a nivel de arquitectura. Su Open Agent Safety Platform coloca la aplicación de políticas fuera del agente y hace un punto sencillo: no se puede esperar que un agente gobierne completamente su propio comportamiento.

Eso debería definir cómo construimos el ciclo de vida de desarrollo de IA (AI SDLC). Un agente puede necesitar permiso para acceder a una base de datos, a un entorno de infraestructura o a un sistema de despliegue. Eso no significa que el agente deba decidir por sí mismo que cada cambio que desea realizar es seguro.

La IA toma decisiones basadas en probabilidades. No deberíamos permitir que cada una de esas decisiones se convierta automáticamente en una acción contra un sistema crítico.

El humano en el bucle no puede ser la solución completa

La respuesta obvia es mantener a una persona frente a las acciones de IA con consecuencias. Para algunas decisiones, eso es precisamente lo que debemos hacer. El error es convertir el “humano en el bucle” en la respuesta para cada decisión.

Si cada acción que realiza un agente requiere que alguien la revise y haga clic en aprobar, hemos recreado el cuello de botella que la IA debía eliminar. Peor aún, un número suficiente de aprobaciones puede convertir la supervisión en un hábito. Una persona que aprueba todo el día no está necesariamente ejerciendo juicio.

Necesitamos ser más deliberados acerca de dónde se toman las decisiones. La IA puede tomar decisiones dentro del trabajo que le hemos asignado. La política puede gestionar decisiones donde las reglas ya son conocidas. Las personas pueden manejar excepciones y decisiones que realmente requieren juicio.

Un cambio de bajo riesgo que cumpla con la política establecida no debería requerir que alguien lo vigile. Un cambio que viole la política debería detenerse automáticamente. Una excepción con consecuencias empresariales, de seguridad u operativas significativas puede requerir que una persona tome la decisión.

Ese es un modelo muy diferente a simplemente colocar a un humano en cada bucle. El objetivo no es eliminar a los humanos. Es dejar de hacer que la atención humana sea lo que determina cada acción y convertir la ruta gobernada en la ruta más fácil.

Coloque el control donde ocurre la acción

Las empresas no van a estandarizarse en un solo modelo de IA o en un solo agente. Los desarrolladores usarán diferentes copilotos. Los equipos experimentarán con distintos modelos. La IA aparecerá dentro de herramientas de desarrollo, productos de seguridad, plataformas de datos y aplicaciones internas.

Intentar crear un proceso de gobernanza diferente para cada herramienta de IA no será escalable. El control debe estar más cerca de la acción que la IA desea realizar.

Si un cambio generado por IA ingresa a una canalización de despliegue, debe enfrentarse a las mismas políticas que un cambio generado por humanos. Si un agente desea modificar infraestructura, datos o una base de datos de producción, los controles alrededor de ese sistema no deben desaparecer porque cambió el actor.

El origen del cambio no determina el riesgo. El propio cambio lo hace. Un desarrollador, asistente de codificación, proceso automatizado o agente autónomo pueden tomar un camino diferente hacia la misma acción, pero esa acción aún puede enfrentarse a la misma política antes de volverse consecuente.

Esto también permite que la tecnología cambie sin obligar a las empresas a reconstruir la gobernanza cada vez. Los modelos cambiarán. Los agentes serán más capaces. Los controles alrededor de los sistemas críticos pueden mantenerse consistentes.

NIST adopta un enfoque similar basado en riesgos en su AI Risk Management Framework, que trata la gobernanza como algo que debe operar a lo largo del ciclo de vida de la IA en lugar de como una única aprobación al final. Para la entrega de software, eso significa colocar controles en el camino que la IA ya sigue en lugar de añadir otro proceso manual.

Cuando el humano se retira, la evidencia no puede irse con él

Hay otro problema oculto dentro del modelo de revisión humana. Cuando eliminas a la persona del proceso, no solo pierdes la revisión. También puedes perder a la persona que ayudó a demostrar que la revisión ocurrió.

Eso se convierte en un problema serio para las empresas con requisitos de seguridad, cumplimiento y auditoría. Todavía necesitan saber qué cambió, quién o qué lo inició, qué política se aplicó, si pasó, quién aprobó una excepción, dónde se ejecutó el cambio y qué ocurrió después.

No puedes automatizar el cambio y dejar la evidencia de forma manual. En un proceso impulsado por humanos, los equipos pueden reconstruir la evidencia más tarde a partir de tickets, aprobaciones, registros de la canalización, capturas de pantalla y conversaciones. Ese enfoque se vuelve más difícil a medida que aumenta el volumen de cambios y resulta irreal cuando las máquinas crean y ejecutan cambios de forma continua.

La evidencia debe convertirse en parte del proceso de entrega. Las decisiones de política, aprobaciones, excepciones, despliegues y resultados deben generar registros a medida que se realiza el trabajo. La evidencia de auditoría se convierte en un subproducto de la entrega de software en lugar de algo que los equipos ensamblan después.

Eso deja dos tareas diferentes para la gobernanza en un ciclo de vida de desarrollo impulsado por IA. Antes de una acción, determinar si debe ocurrir. Después de la acción, demostrar lo que sucedió.

Los humanos no van a desaparecer. Nuestro trabajo está cambiando.

Existe un instinto comprensible de medir el control por cuántas veces interviene una persona. Más revisiones parecen más seguras. Más aprobaciones parecen más seguras. Mantener a un humano en cada bucle parece más seguro.

La IA pondrá a prueba esa suposición. Si la IA sigue aumentando la cantidad de software que podemos crear, los humanos no podrán revisar cada cambio, aprobar cada acción, observar cada despliegue y reconstruir cada decisión después. Intentar hacerlo ralentizará la IA o convertirá la supervisión humana en un sello de goma.

El ciclo de vida del desarrollo de IA necesita una división del trabajo diferente. La IA puede encargarse de más trabajo mientras la política regula las decisiones repetibles y las personas intervienen cuando algo realmente requiere juicio. La evidencia debería generarse automáticamente a lo largo del proceso.

Vamos a dar a la IA más acceso porque así es como se vuelve útil. Vamos a dar a los agentes más autonomía porque así obtenemos más influencia de ellos. El desafío es asegurarnos de que mayor acceso y autonomía no se conviertan silenciosamente en autoridad ilimitada.

Los humanos no necesitan aferrarse más. El objetivo no es menos control. Es un modelo de control que no depende de que nosotros retengamos cada decisión. Necesitamos crear los controles que nos permitan aflojar el agarre sin perder el control.