¿Qué Significa Realmente Human-in-the-Loop?

A principios del siglo XX, el filósofo británico Gilbert Ryle acuñó el término “fantasma en la máquina”. Al escribir en The Concept of Mind, Ryle utilizó la metáfora para oponerse al dualismo mente-cuerpo que sostiene que la mente y el cuerpo existen como sustancias separadas. Para Ryle, esta división era un error, ya que la cognición y la acción física eran inseparables, parte de un sistema único en lugar de dos partes interactuantes.

Con el advenimiento de la IA, una metáfora similar emerge al hablar de los usuarios de herramientas de IA para aumentar la productividad: el a menudo utilizado “human-in-the-loop”. Si los humanos y los sistemas inteligentes están ahora más fusionados que nunca, ¿estamos construyendo una fusión sin problemas o creando una ilusión conveniente de control?

Las startups dependen en gran medida de este concepto para hablar de sus herramientas. Mientras promete innovación y tranquilidad, la realidad es a menudo más complicada. La responsabilidad puede fácilmente volverse difusa y la rendición de cuentas más difícil de rastrear.

A medida que los sistemas de IA se adentran más en dominios sensibles, desde la educación hasta la guerra, las apuestas ya no son abstractas. ¿Qué significa realmente human-in-the-loop y es esto solo un eufemismo para cuando desaparecen por completo?

1. Human-in-the-loop como escudo para la responsabilidad

Utilizado sin cuidado, el término human-in-the-loop puede ser una forma fácil de desviar la responsabilidad sin comprometerse realmente con ella. Como muchos están notando, una firma humana al final de un proceso no garantiza la integridad ética, especialmente si el sistema subyacente está mal diseñado o insuficientemente comprendido.

Maysa Hawwash, fundadora y CEO de Scale X, ha escrito sobre el deslizamiento de la responsabilidad y es directa sobre la forma en que el concepto se despliega a menudo. “En realidad, no es muy diferente a otras formas de trasladar la carga”, dijo Hawwash a Startup Beat, utilizando el ejemplo de cómo los gerentes de recursos humanos a menudo utilizan una política de firma para alejar a la empresa de la responsabilidad. “Si tienes esta política y la gente la lee y firma, entonces, como empresa, técnicamente no eres responsable, ¿verdad?”, dijo.

Lo que surge es un patrón familiar en sistemas corporativos donde la responsabilidad se desplaza en lugar de eliminarse. Hawwash ve esto como la forma fácil de salir, que evita el pensamiento crítico o la comprensión de las áreas donde puede afectar a las personas o las comunidades. “Así que estás trasladando la carga, y luego no importa si la gente entiende la política, no importa si la política tiene sentido”.

En este marco, “human-in-the-loop” corre el riesgo de convertirse en menos en una intervención significativa y más en una cobertura procedimental. El peligro aquí no es solo semántico. Cuando la supervisión se reduce a una firma, el papel humano se vuelve simbólico en lugar de sustantivo.

Hawwash hizo referencia a una reciente atrocidad militar, la escuela en Minab, Irán, donde los humanos aprobaron un ataque, pero la presencia de un tomador de decisiones humano no necesariamente equivalía a claridad ética o deliberación adecuada. “Cuando estás en guerra o estás realizando una cirugía compleja, no tienes el lujo de tiempo para utilizar human-in-the-loop como escudo”.

2. Diseñar para la responsabilidad, no solo la supervisión

La alternativa no es abandonar los sistemas human-in-the-loop, sino tomarlos en serio como compromisos de diseño. Esto significa ir más allá de la supervisión simbólica hacia estructuras de responsabilidad deliberadas.

“Hay esta gran carrera para llevar más IA al mercado. No hay mucha reflexión desde una perspectiva de diseño, como qué impacto tiene en las comunidades, en las personas o en los usuarios finales”, dijo Hawwash.

La velocidad se ha convertido en la variable competitiva dominante. En esa carrera, la responsabilidad a menudo se difiere en lugar de incorporarse. El resultado es un modelo reactivo de ética donde la solución de problemas ocurre después de la implementación en lugar de anticiparse durante el desarrollo.

La accesibilidad puede acelerar la adopción, pero también conduce a consecuencias más amplificadas. Los sistemas ya no están confinados a usuarios técnicos, ya que pueden dar forma a decisiones para personas con diferentes niveles de comprensión y contexto. En tal entorno, la responsabilidad no se puede subcontratar al usuario final.

3. Human-in-the-loop como precisión y rendición de cuentas

Abhay Gupta, cofundador de Frizzle, ofrece una perspectiva más operativa, una basada en la construcción de un sistema donde la supervisión humana es práctica y necesaria.

Su empresa surgió de un problema específico: maestros sobrecargados de trabajo. “En la ciudad, se habla de banqueros y consultores que trabajan 70 horas a la semana, pero no se habla de maestros que trabajan tanto. Así que, por curiosidad, entrevistamos a cientos de maestros y, en general, la calificación era su mayor problema de tiempo”.

Automatizar la calificación puede parecer sencillo, pero la complejidad de la escritura manual de matemáticas introduce limitaciones reales para la IA. “Hay el problema de la precisión. La IA no es perfecta, así que construimos un sistema human-in-the-loop. Si la IA no está segura, como con la escritura desordenada, lo marca para que el maestro lo revise y apruebe o rechace”.

Aquí, el papel humano no es solo ornamental. El sistema identifica explícitamente su propia incertidumbre y enruta esos casos a un humano. “Para nosotros, se trata de precisión. Siempre habrá casos límite, tal vez 1-3%, donde la IA lucha, así que un humano debe intervenir”.

Este enfoque reenmarca human-in-the-loop como un mecanismo de control de calidad. Pero Gupta va más allá: “En su núcleo, la IA no es 100% precisa, puede alucinar o producir resultados incorrectos. Human-in-the-loop actúa como la última verificación de calidad antes de que los resultados lleguen al usuario final. También se trata de responsabilidad. Alguien tiene que ser responsable del resultado, y ahora mismo todavía tiene que ser un humano”.

Importante, el papel humano también preserva algo menos cuantificable: el aspecto relacional de la enseñanza. “También se trata de preservar el lado humano de la enseñanza. Los maestros tienen diferentes estilos, así que les permitimos personalizar cómo se entrega la retroalimentación”

Redefinir Human-in-the-loop

La frase “human in the loop” lleva una simplicidad tranquilizadora. Sugiere que no importa cuán avanzados sean nuestros sistemas, un humano permanece en control y no somos simplemente “fantasmas en la máquina”. Pero a medida que las startups despliegan cada vez más la IA en entornos de alto riesgo, esa tranquilidad exige escrutinio.

El problema más profundo es el diseño. Si los riesgos de un sistema están mal entendidos o intencionalmente minimizados, insertar a un humano al final no hace mucho para corregir fallos fundamentales. Crucialmente, también significa definir el papel del humano no como un respaldo, sino como una parte integral del funcionamiento del sistema. Un humano en el loop no debería simplemente aprobar el resultado. Las startups deberían buscar empoderar a su personal para dar forma a ellos, desafiarlos y, cuando sea necesario, anularlos con autoridad.