¿Qué Significa Realmente Human-in-the-Loop?

En el siglo XX, el filósofo británico Gilbert Ryle acuñó el término “fantasma en la máquina”. En su obra El Concepto de la Mente, Ryle utilizó la metáfora para cuestionar el dualismo mente-cuerpo que sostiene que la mente y el cuerpo existen como sustancias separadas. Para Ryle, esta división era un error, ya que la cognición y la acción física eran inseparables, parte de un sistema único en lugar de dos partes interactuantes.

Con el advenimiento de la inteligencia artificial, una metáfora similar emerge al hablar de los usuarios de herramientas de inteligencia artificial para aumentar la productividad: el frecuentemente utilizado “human-in-the-loop”. Si los humanos y los sistemas inteligentes están ahora más fusionados que nunca, ¿estamos creando una fusión sin problemas o creamos una ilusión conveniente de control?

Las startups se apoyan mucho en este concepto para hablar de sus herramientas. Mientras promete innovación y tranquilidad, la realidad es a menudo más complicada. La responsabilidad puede volverse fácilmente difusa y la rendición de cuentas más difícil de rastrear.

A medida que los sistemas de inteligencia artificial se adentran en dominios sensibles, desde la educación hasta la guerra, las apuestas ya no son abstractas. ¿Qué significa realmente human-in-the-loop y es solo un eufemismo para cuando desaparecen por completo?

1. Human-in-the-loop como escudo para la responsabilidad

Utilizado sin cuidado, el término human-in-the-loop puede ser una forma fácil de desviar la responsabilidad sin comprometerse realmente con ella. Como muchos han notado, una firma humana al final de un proceso no garantiza la integridad ética, especialmente si el sistema subyacente está mal diseñado o insuficientemente comprendido.

Maysa Hawwash, fundadora y directora ejecutiva de Scale X, ha escrito sobre el deslizamiento de la responsabilidad y es directa sobre la forma en que el concepto se utiliza a menudo. “En realidad, no es muy diferente a otras formas de trasladar la carga”. Hawwash le dijo a Startup Beat, utilizando el ejemplo de cómo los gerentes de recursos humanos a menudo utilizan una política de firma para trasladar la responsabilidad de la empresa. “Si tienes esta política y la gente la lee y firma, entonces, como empresa, técnicamente no eres responsable, ¿verdad?” dijo.

Lo que surge es un patrón familiar en los sistemas corporativos donde la responsabilidad se desplaza en lugar de eliminarse. Hawwash ve esto como la forma fácil de salir, que evita el pensamiento crítico o la comprensión de las áreas donde puede afectar a las personas o comunidades. “Así que estás trasladando la carga, y entonces no importa si la gente entiende la política, no importa si la política tiene sentido”.

En este marco, “human-in-the-loop” corre el riesgo de convertirse en menos sobre la intervención significativa y más sobre la cobertura procedimental. El peligro aquí no es solo semántico. Cuando la supervisión se reduce a una firma, el papel humano se vuelve simbólico en lugar de sustantivo.

Hawwash hizo referencia a una reciente atrocidad militar – la escuela en Minab, Irán – donde los humanos aprobaron un ataque, pero la presencia de un tomador de decisiones humano no necesariamente equivalía a claridad ética o deliberación adecuada. “Cuando estás en guerra o estás realizando una cirugía compleja, no tienes el lujo de tiempo para utilizar human-in-the-loop como escudo”.

2. Diseñando para la responsabilidad, no solo la supervisión

La alternativa no es abandonar los sistemas human-in-the-loop, sino tomarlos en serio como compromisos de diseño. Esto significa ir más allá de la supervisión simbólica hacia estructuras de responsabilidad deliberadas.

“Hay esta gran carrera para llevar más inteligencia artificial al mercado. No hay mucha reflexión desde una perspectiva de diseño, como cuál es el impacto descendente en las comunidades, en las personas o en los usuarios finales”, dijo Hawwash.

La velocidad se ha convertido en la variable competitiva dominante. En esa carrera, la responsabilidad a menudo se difiere en lugar de integrarse. El resultado es un modelo reactivo de ética donde la solución de problemas ocurre después de la implementación en lugar de anticiparse durante el desarrollo.

La accesibilidad puede acelerar la adopción, pero también conduce a consecuencias más amplificadas. Los sistemas ya no están confinados a usuarios técnicos, ya que pueden dar forma a decisiones para personas con diferentes niveles de comprensión y contexto. En tal entorno, la responsabilidad no puede ser subcontratada al usuario final.

3. Human-in-the-loop como precisión y rendición de cuentas

Abhay Gupta, cofundador de Frizzle, ofrece una perspectiva más operativa, basada en la construcción de un sistema donde la supervisión humana es práctica y necesaria.

Su empresa surgió de un problema específico: maestros sobrecargados de trabajo. “En la ciudad, se habla de banqueros y consultores que trabajan 70 horas a la semana, pero no se habla de maestros que trabajan tanto. Así que, por curiosidad, entrevistamos a cientos de maestros y, en general, la calificación era su mayor problema de tiempo”.

Automatizar la calificación puede parecer sencillo, pero la complejidad de la escritura manual de matemáticas introduce limitaciones reales para la inteligencia artificial. “Hay el problema de la precisión. La inteligencia artificial no es perfecta, así que creamos un sistema human-in-the-loop. Si la inteligencia artificial no está segura, como con la escritura manual desordenada, lo marca para que el maestro lo revise y apruebe o rechace”.

Aquí, el papel humano no es solo ornamental. El sistema identifica explícitamente su propia incertidumbre y canaliza esos casos hacia un humano. “Para nosotros, se trata de precisión. Siempre habrá casos límite, tal vez 1-3%, donde la inteligencia artificial lucha, así que un humano debe intervenir”.

Este enfoque redefine human-in-the-loop como un mecanismo de control de calidad. Pero Gupta va más allá: “En su núcleo, la inteligencia artificial no es 100% precisa, puede producir resultados incorrectos o alucinaciones. Human-in-the-loop actúa como la última verificación de calidad antes de que los resultados lleguen al usuario final. También se trata de responsabilidad. Alguien debe ser responsable del resultado, y ahora mismo eso todavía debe ser un humano”.

Es importante que el papel humano también preserve algo menos cuantificable: el aspecto relacional de la enseñanza. “También se trata de preservar el lado humano de la enseñanza. Los maestros tienen diferentes estilos, así que les permitimos personalizar cómo se entrega la retroalimentación”.

Redefiniendo Human-in-the-loop

La frase “human-in-the-loop” lleva una simplicidad tranquilizadora. Sugiere que, no importa cuán avanzados sean nuestros sistemas, un humano permanece en control y no somos simplemente “fantasmas en la máquina”. Pero a medida que las startups despliegan cada vez más la inteligencia artificial en entornos de alto riesgo, esa tranquilidad exige escrutinio.

El problema más profundo es el diseño. Si los riesgos de un sistema están mal entendidos o minimizados intencionalmente, insertar un humano al final no hace mucho para corregir las fallas fundamentales. Crucialmente, también significa definir el papel del humano no como una fallback, sino como una parte integral del funcionamiento del sistema. Un humano en el loop no debería simplemente aprobar el resultado. Las startups deberían buscar empoderar a su personal para dar forma a ellos, desafiarlos y, cuando sea necesario, anularlos con autoridad.