La IA es cada vez más inteligente; lograr coherencia es cada vez más difícil

He dedicado toda mi carrera a tratar de entender la inteligencia. Estudié neurociencia porque me interesaba la IA y pensé que aprender primero cómo funciona el cerebro sería una buena manera de empezar. Primero, la inteligencia; después, la inteligencia «artificial». Esa formación me dejó una costumbre. Cuando surge una nueva capacidad o tecnología, mi primera pregunta es práctica: ¿qué puede hacer realmente y para qué tipos de problemas del mundo real?

Como alguien del ámbito de la IA, rara vez celebro los titulares sobre IA. Voy más allá del ruido para entender no solo los avances, sino también los límites de las nuevas capacidades.

De herramientas aburridas a una fiabilidad con mucho en juego

En 2020, cuando el debate sobre la seguridad de la IA estaba encendido por la exageración, di un consejo sencillo: tratar la IA como una herramienta —una herramienta poderosa, pero una herramienta al fin y al cabo—. Ceñirse a los casos de uso menos llamativos. Trabajar en el nivel de las tareas, donde la tecnología era lo bastante fiable como para resultar útil. Mi escenario optimista era uno de herramientas aburridas, pero útiles.

Cuando la ola de los agentes empezó a crecer un par de años después, apliqué el mismo enfoque y no me convencí. Un sistema agéntico solo es tan sólido como las tareas que lo sustentan, y todavía no había visto la fiabilidad en el nivel de las tareas que estos sistemas necesitaban para ser eficaces.

Sin embargo, la exageración iba en aumento. Cuando asistí a RSA a principios del año pasado, seguía siendo difícil pasar por alto la brecha entre lo que se decía y lo que había de sustancia. Ni siquiera existía un entendimiento común de lo que significaba «agéntico»: cada persona tenía una definición y una perspectiva distintas. Además, me preocupaba un problema estructural. Tomemos diez agentes, cada uno con una precisión de aproximadamente el 95 %. Encadenémoslos de modo que la salida de uno sea la entrada del siguiente. Al final de esa cadena, la precisión se reduce a aproximadamente el 60 %. La fiabilidad no resiste la acumulación. Para entonces, empezaba a pensar en sistemas de agentes, aunque seguía preocupándome si se podía confiar en que funcionaran y marcaran una diferencia significativa.

Entonces, las rápidas mejoras de los agentes de programación me hicieron cambiar de opinión.

En los pocos meses transcurridos desde mi artículo sobre el tema, el increíble ritmo del progreso me dejó algo claro: era cuestión de tiempo que la fiabilidad se alcanzara en varias tareas del mundo real. Los modelos mejores, junto con mejores estructuras de ingeniería diseñadas a su alrededor, cerrarían la brecha que me preocupaba. El límite que me inquietaba se elevaría.

Fue entonces cuando el verdadero problema cobró nitidez, y no era el que yo había estado observando. Una vez que puedes confiar en cada agente por separado, no te detienes después de implementar el primero. Implementas muchos: flotas de agentes en todas las funciones, cada uno capaz y cada uno cumpliendo su cometido. Y surgió una nueva pregunta que no tenía nada que ver con la fiabilidad: si cada agente de la flota hace aquello para lo que fue creado, ¿la flota en su conjunto sigue contribuyendo a lo que la organización pretendía?

La necesidad de propiocepción organizacional

Un cuerpo con extremidades capaces no puede moverse bien sin propiocepción: la percepción interna constante de dónde están todas sus partes y qué están haciendo. El cerebelo hace más que reaccionar a esa información; predice. Cuando el cerebro ordena un movimiento, forma una expectativa sobre la sensación que debería producir ese movimiento y luego la contrasta con lo que ocurre en realidad. La diferencia entre ambas es la señal que permite corregir lo que viene después. El movimiento hábil consiste en un ciclo de predicción del resultado y corrección de la diferencia.

Una organización que opera flotas de agentes necesita la misma conciencia de sí misma. Debe saber en todo momento dónde están sus sistemas y cuánto se han desviado del estado previsto. Sin esa conciencia interna, las partes capaces no se combinan para producir una acción coordinada. No se trata de un mecanismo de percepción que se añade después a un cuerpo para hacerlo más seguro. Es necesario para que el cuerpo pueda moverse.

Existe un caso muy estudiado de un hombre llamado Ian Waterman que perdió esta percepción en la mayor parte del cuerpo. Aprendió a moverse de nuevo, pero solo observándose: guiaba con la vista cada paso y cada movimiento de sus brazos. Funciona, pero también es agotador y frágil. Si se apagan las luces, no puede coordinarse en absoluto. Una organización que gobierna a sus agentes mediante auditorías manuales y revisiones periódicas está en esa misma situación. Compensa con un esfuerzo constante una percepción que nunca desarrolló, y esa compensación cuesta más que lo que sustituye. Todo el sistema se derrumba en cuanto cambian las condiciones.

Hay otro fallo aún más extraño que vale la pena mencionar, descrito en un fascinante libro del neurocientífico V S Ramachandran. Cuando se amputa una extremidad, el cerebro no se queda en silencio. Sigue generando señales para la extremidad ausente, y la persona las siente con intensidad. La gobernanza puede fallar de la misma manera. Si, por una reestructuración o por negligencia, se elimina el criterio real de una función de supervisión, esta no deja de funcionar. Las revisiones siguen completándose y se siguen generando métricas. La organización sigue percibiendo que hay supervisión, aunque el criterio que la sustenta se haya vaciado. Aquí vuelve mi consejo de 2020 sobre la transparencia. No hay supervisión sin transparencia, y no hay transparencia en un sistema que solo produce la apariencia de estar bajo observación.

La coherencia como recurso escaso

La inteligencia cada vez cuesta menos. Pronto estará presente en todos los flujos de trabajo y en todas las herramientas. En ese mundo, el recurso escaso es la coherencia: el vínculo vivo entre lo que cada sistema hace por su cuenta y lo que la empresa intenta conseguir. La coherencia es el tejido conectivo que mantiene alineada la inteligencia distribuida con un propósito común.

Pasé años estudiando cómo un cerebro mantiene en funcionamiento todas sus partes como un todo. La era de los agentes plantea a la empresa la misma pregunta. El objetivo no ha cambiado desde 2020. Sigue siendo algo aburrido, pero útil. Ahora, lo aburrido y útil que hay que construir es la propia coherencia.