El alarmismo apocalíptico sobre la IA y los cafés de moda de IA: las preguntas de gobernanza que no podemos permitirnos pasar por alto

¿Estamos condenados? ¿Es consciente la IA? ¿Y por qué las empresas de IA están abriendo cafeterías?

Estas preguntas son impactantes, inquietantes y —sobre todo en el caso de la conciencia— verdaderamente difíciles. También tienen en común que nos atraen hacia los aspectos más especulativos o emocionalmente cautivadores de la historia de la IA. Mientras tanto, las preguntas menos cinematográficas ya están condicionando la vida de las personas: ¿quién debe responder cuando un sistema de IA causa daño? ¿Qué datos y trabajo hicieron posible su desarrollo? ¿En qué decisiones debería permitirse que influya? ¿Y quién puede opinar al respecto?

No doy por sentado que todas las personas que plantean los riesgos existenciales, hablan de la conciencia de las máquinas o abren una cafetería lo hagan para eludir esas preguntas. Cada tema puede merecer nuestra atención por sí mismo. Pero la atención es limitada. Cuando una historia dramática acapara el centro de la escena, conviene preguntarse qué otras cosas han quedado fuera de nuestra vista.

El atractivo de una IA tangible

La industria de la IA ha empezado a dar direcciones físicas a sus productos, en gran medida intangibles. El «Zero Slop Zone» de Anthropic en Nueva York invitaba a los visitantes a tomarse las cosas con calma, con café, libros, bolígrafo y papel; Perplexity abrió Cafe Curious, una cafetería en Seúl donde la IA de la empresa forma parte de la experiencia. La cobertura del local temporal de Anthropic y la cafetería de Perplexity en Seúl describe dos iniciativas distintas para llevar una tecnología abstracta a un entorno cotidiano y social.

Tiene cierto sentido. La mayoría de las personas no puede ver un modelo de lenguaje, examinar la infraestructura que lo sustenta ni imaginar fácilmente qué ocurre entre una instrucción y una respuesta. Una cafetería ofrece una especie de equivalente físico: una sala, una taza, una conversación. Puede hacer que resulte más fácil conocer a una empresa y su tecnología y, quizá, comprenderlas.

También hay otra dimensión. Un espacio físico hace visible a una empresa dentro de una comunidad. Como mínimo, dice: «Estamos aquí, en este lugar, por ahora». Eso puede resultar tranquilizador en un sector donde los productos, las políticas y las expectativas cambian rápidamente. Pero visibilidad no es lo mismo que rendición de cuentas. Un espacio acogedor puede hacer que una tecnología parezca más familiar sin decirnos cómo se entrenó, en qué situaciones es fiable o qué recurso tiene una persona cuando comete un error importante.

Esta distinción refleja una idea a la que he vuelto durante años: las experiencias digitales nunca son solo digitales. Las personas las viven en lugares, relaciones e instituciones. La pregunta de diseño no es simplemente cómo hacer que un sistema de IA parezca accesible. Es si la experiencia ayuda a las personas a comprender los límites del sistema y a conservar una capacidad de decisión real.

El debate sobre la conciencia y las personas que ya se ven afectadas

La misma distinción importa en los debates sobre la conciencia de la IA. Existe un desacuerdo real sobre si es posible que las máquinas tengan conciencia, qué pruebas contarían como evidencia y cómo debería influir la incertidumbre en nuestras responsabilidades. El argumento de Anil Seth en Noema sostiene que la inteligencia y la conciencia no deberían tratarse como conceptos intercambiables; un reportaje reciente de The Guardian también explica por qué la cuestión sigue sin resolverse. Este debate no admite respuestas fáciles.

Pero la incertidumbre sobre la vida interior de una máquina no vuelve inciertas las preguntas actuales sobre las consecuencias para las personas. La responsabilidad no empieza solo cuando hayamos resuelto qué es la conciencia. Empieza cuando las organizaciones desarrollan, implementan y obtienen beneficios de sistemas que afectan a las personas.

Pensemos en las preguntas que podemos investigar ahora. ¿Qué información se utilizó para entrenar un sistema y en qué condiciones? ¿Quién se encarga de preparar y verificar sus resultados? ¿Cómo funciona con distintos grupos? ¿Qué ocurre cuando se utiliza un sistema en la atención sanitaria, la contratación, la educación o los servicios públicos? ¿Puede una persona impugnar una recomendación automatizada, ponerse en contacto con alguien que tome decisiones y obtener una explicación significativa?

No se trata de preocupaciones hipotéticas. Una revisión de los sesgos en la IA médica describe cómo los datos sesgados y las decisiones de diseño pueden contribuir a que las decisiones clínicas sean inequitativas. Por su parte, la investigación sobre IA y empleo sigue en desarrollo: el análisis de Anthropic sobre el mercado laboral propone una forma de medir la exposición, mientras que la revisión del Hamilton Project advierte que la evidencia sobre los efectos generales en el mercado laboral sigue siendo incompleta. Esas fuentes apuntan en distintas direcciones respecto de lo que podemos concluir hoy, pero refuerzan la necesidad de medir los efectos en lugar de sustituir la evidencia por relatos categóricos.

También existe un riesgo relacionado con la forma en que hablamos de estos sistemas. Los nombres, las voces y los estilos de conversación similares a los humanos pueden hacer que una IA parezca más una persona que un producto. Eso puede influir en la confianza y en el grado en que las personas aceptan sus respuestas sin cuestionarlas. Es razonable preguntarse si hablar de conciencia o recurrir a un diseño antropomórfico puede desviar la atención de las organizaciones que fijan los objetivos y los límites del sistema. Un análisis de MIT Technology Review sostiene que los relatos sobre la conciencia pueden oscurecer las cuestiones de responsabilidad empresarial. Se trata de un argumento sobre los efectos de ese enfoque, no de una prueba de que todas las personas que plantean la cuestión tengan motivos ocultos.

El apocalipsis no es un plan de gobernanza

El riesgo existencial merece una atención seria. La existencia de daños a más corto plazo no resta importancia a los resultados catastróficos, del mismo modo que la posibilidad de una catástrofe no resta importancia a los daños a corto plazo. No tenemos que elegir un horizonte temporal e ignorar el otro.

Pero cuando «¿Estamos condenados?» se convierte en el tema de toda la conversación, los riesgos a largo plazo vuelven a desplazar los daños actuales. La fatalidad puede sonar a conclusión, en lugar de ser una invitación a actuar: si el resultado es inevitable, ¿para qué molestarse en hacer el difícil trabajo de cambiarlo? Un artículo de The New Yorker sobre un curso de riesgo existencial describe la pregunta de un estudiante sobre «construir catedrales»: ¿por qué comprometerse a construir algo que quizá te sobreviva si crees que el mundo podría acabar? La respuesta no es que los riesgos desaparezcan. Es que la incertidumbre no anula nuestra capacidad —ni nuestra responsabilidad— de decidir qué importa a continuación y contribuir a determinar lo que sucederá.

A eso me refiero con mi filosofía del «optimismo estratégico». No consiste en decir a la ligera «todo saldrá bien», ni en negarse a examinar las pruebas. Significa reconocer los riesgos reales, trabajar para reducirlos y, al mismo tiempo, esforzarse seriamente por alcanzar un futuro que merezca la pena. La esperanza no es lo contrario del rigor. Puede ser lo que mantenga el rigor vinculado a la acción.

Las preguntas de gobernanza que se esconden tras el espectáculo

Tanto si una organización compra una herramienta de IA, como si desarrolla una o establece políticas al respecto, las preguntas prácticas son menos llamativas que una cafetería o una afirmación sobre la consciencia, y más útiles:

• Propósito: ¿Qué problema se supone que debe resolver el sistema y es la IA la herramienta adecuada para hacerlo?
• Pruebas: ¿Cómo se ha probado, incluso con distintos usuarios y en casos menos habituales?
• Límites: ¿Qué decisiones deben seguir estando en manos de una persona y qué cosas no puede hacer el sistema?
• Responsabilidad: ¿Quién responde cuando falla el sistema y cómo pueden apelar las personas afectadas?
• Transparencia: ¿Pueden las personas saber cuándo interviene la IA y qué información ha influido en su resultado?
• Supervisión continua: ¿Quién vigila el rendimiento, los cambios en los datos y los efectos no deseados después de la puesta en marcha?

Marcos como el Marco de Gestión de Riesgos de IA de NIST ofrecen a las organizaciones una forma estructurada de identificar y gestionar los riesgos a lo largo del ciclo de vida de un sistema de IA. Ningún marco puede sustituir el criterio ni el debate público, pero la gobernanza se vuelve más concreta cuando se explicitan las responsabilidades, las pruebas y las vías de reparación.

También hay una dimensión física que debe gobernarse. La IA depende de centros de datos, electricidad, agua, terrenos y financiación, no solo de interfaces. La información sobre la estructura de financiación de un importante proyecto de centro de datos plantea preguntas sobre cómo se divulgan los riesgos de la infraestructura y quién acaba asumiéndolos. Una cafetería puede ayudar a la gente a familiarizarse con la IA; por sí sola, no puede hacer comprensible la infraestructura que la sustenta.

Así que disfruta de la cafetería. Hazte las grandes preguntas sobre la consciencia. Tómate en serio el riesgo catastrófico. Después, vuelve a las decisiones que podemos examinar e influir ahora: qué se construye, quién se beneficia, quién asume los costes y qué salvaguardias existen cuando algo sale mal.

El futuro no es un veredicto dictado por un titular. Es un conjunto de decisiones —tomadas por empresas, instituciones, gobiernos y comunidades— que aún pueden cuestionarse y cambiarse. La pregunta más útil no es solo si estamos condenados. También es qué condiciones permitirían que la IA contribuyera al bienestar humano y qué estamos dispuestos a hacer para hacerlas realidad.