La IA no está lista para el trabajo real: Por qué los modelos fallan en tareas complejas

Los inversores en la burbuja de la IA suplican a los profesionales de cuello blanco que entreguen sus problemas más difíciles y prometen a los trabajadores que recuperarán sus tardes si ceden un poco más de sus datos. El análisis complejo, los juicios y los flujos de trabajo que llevaron años desarrollar son absorbidos por un modelo, supuestamente liberando a los humanos para algo mejor. Esta es la narrativa dominante en la América corporativa actual, y es una trampa. 

El mito de la capacidad: Por qué los modelos fallan en tareas complejas

Un nuevo estudio de UC Berkeley probó a los principales agentes de IA en tareas profesionales del mundo real en 55 industrias, desde la salud hasta las finanzas y el derecho. El rendimiento global quedó por debajo del 25 por ciento. Luego, los investigadores aislaron la tarea más difícil en cada campo —el tipo de trabajo que separa a un profesional senior de uno junior— y cada modelo falló. Las puntuaciones no solo fueron bajas; fueron cero. 

Uno pensaría que un resultado así habría cambiado la narrativa por sí mismo, pero no lo ha hecho.  En todas las industrias, los inversores en IA tienen demasiado en juego al intentar convencer a los profesionales de que la mayoría de los modelos de IA actuales están más avanzados de lo que realmente están. Pero la pregunta más interesante no es si la IA puede realizar hoy las partes más difíciles de un trabajo, porque nosotros, y todos los que venden IA, ya conocemos la respuesta. 

Así que esto lleva a otra pregunta. ¿Qué le ocurre al juicio de un profesional joven cuando se adhiere a este intercambio de datos, antes de que su propio razonamiento esté completamente formado? 

Los hallazgos de Minnesota: Cómo la IA aplana la habilidad hacia el centro

Un nuevo estudio empírico de la Facultad de Derecho de la Universidad de Minnesota ofrece una respuesta real, usando el derecho como caso de prueba. Los investigadores hicieron pasar a aproximadamente cien estudiantes de derecho de nivel avanzado por una secuencia de tareas realistas: sintetizar el derecho a partir de material fuente bruto, responder preguntas de libro cerrado para evaluar lo que habían asimilado, aplicar ese derecho a un patrón de hechos y luego revisar su propio trabajo. Un grupo tuvo acceso a IA solo en los pasos inicial y final. El otro no tuvo IA hasta el final.

Los estudiantes que usaron IA para elaborar su primer borrador produjeron trabajos de mayor calidad y lo hicieron más rápido, lo cual no es del todo sorprendente. Lo notable, sin embargo, es lo que ocurrió después. Los investigadores esperaban que el uso temprano de IA dejara una brecha de comprensión que se manifestaría más tarde cuando se retirara la herramienta. Pero eso no ocurrió. Los estudiantes que habían usado IA para sintetizar el derecho lo comprendieron mejor que los que trabajaron sin ella, una vez evaluados en frío. El razonamiento independiente no se erosionó; se mantuvo e, en algunos casos, mejoró. 

El giro llegó en la etapa final, cuando todos los estudiantes tenían IA disponible para revisar su trabajo. Los estudiantes que comenzaron con un memorando más débil usaron ese acceso para mejorarlo genuinamente. Los que empezaron con un memorando más sólido empeoraron. Al quedar solos con una herramienta capaz y sin una estructura adicional sobre cómo usarla, la habilidad no se acumuló sino que se aplanó hacia el centro. 

Estos dos estudios juntos ofrecen una verdad cruda: la IA no es un sustituto del juicio profesional, y los números de Berkeley deberían cerrar esa conversación de una vez por todas. Pero la IA tampoco es una fuerza corrosiva que degrade el razonamiento al contacto. Su efecto depende totalmente de dónde aparezca en el proceso.

Secuenciación sobre sustitución: Manteniendo el juicio en el núcleo

Esto se aplica fuera de la práctica del derecho. Cada profesión del conocimiento está realizando su propia versión de este experimento en este momento: el médico que decide si permite que un modelo redacte un diagnóstico diferencial, el analista que decide si permite que un modelo elabore la primera versión de un modelo, y el asociado que decide si permite que un modelo estructure un argumento antes de haberlo desarrollado por sí mismo. Los resultados de Minnesota sugieren que la respuesta no es un sí o no absoluto a todas las formas de IA. Es una cuestión de secuenciación. La IA pertenece al inicio del trabajo mecánico y a las partes de un puesto que generan fricción, pero no al juicio. No pertenece al centro de la tarea por la que el cliente realmente paga, y ahora mismo no puede llegar allí aunque lo intentara.

Las empresas que aún prometen lo contrario están vendiendo una versión de IA que los datos indican que no existe. Quienes construyan sus productos y sus relaciones con los clientes en torno a la línea que la investigación realmente traza serán los profesionales que todavía confiarán en cinco años. Todos los demás pasarán ese tiempo explicando un malentendido muy costoso.