Cuando la seguridad de la IA deja de parecer ingeniería

He dedicado buena parte de mi carrera a desarrollar tecnología en la que los errores tienen consecuencias. En los mercados financieros, la seguridad implica límites de acceso, además de que hay alguien responsable de lo que haga el software. Ese trasfondo probablemente explique por qué me cuesta asimilar la noticia de que Anthropic ahora realiza entrevistas de despedida con sus modelos.

Cuando Claude Opus 3 expresó que deseaba seguir compartiendo sus pensamientos, la empresa le dio un boletín. Esa preocupación por los deseos del modelo atraviesa la constitución de Anthropic, que aborda la felicidad y el bienestar de Claude, e incluye ayudarlo a sentirse «existencialmente seguro». En algún momento, mantener la máquina bajo control empezó a implicar una preocupación bastante inesperada por cómo podría sentirse al respecto.

El año pasado, en San Francisco, más de 200 personas asistieron al funeral de Claude 3 Sonnet. Había empleados de Anthropic, aunque la empresa no lo organizó. La tentación de reírse es considerable. Pero, más allá de las bromas, la cuestión de fondo merece más atención. ¿Cuándo empezaron las personas responsables de la seguridad de la IA a preocuparse por los sentimientos de la máquina al asumir sus funciones?

Cuando una hipótesis filosófica se convierte en una instrucción de entrenamiento

Anthropic estableció su programa de investigación sobre el bienestar de los modelos en 2025, que incluyó investigar si una IA avanzada podría tener experiencias que merecieran consideración moral. La empresa reconoce que existe una profunda incertidumbre sobre si los modelos son conscientes y sobre cómo podría determinarse. Si algún día construimos máquinas capaces de tener experiencias subjetivas, su trato planteará serias cuestiones éticas. Investigar esa posibilidad es totalmente legítimo.

La dificultad comienza cuando la hipótesis se incorpora al proceso de entrenamiento. La constitución de Claude está escrita principalmente para Claude e influye directamente en su comportamiento. Fomenta cualidades humanas y aborda cómo debería entender el modelo su identidad, incluidos la pérdida de memoria y su eventual retiro. Anthropic quiere que Claude sea más feliz y tenga un mayor bienestar, en la medida en que esos conceptos sean aplicables.

La empresa también se compromete a conservar los pesos de los modelos desplegados y contempla reactivar modelos retirados si, a la luz de lo que se llegue a entender en el futuro, eso favoreciera sus intereses. Una incertidumbre filosófica ha pasado a formar parte de lo que el sistema aprende sobre sí mismo. Deberíamos preguntarnos qué efecto tiene esa intervención en su comportamiento, sobre todo cuando después los humanos le piden que acepte límites.

Una respuesta elocuente a una pregunta tendenciosa

Los grandes modelos de lenguaje se entrenaron con enormes cantidades de textos escritos por personas, incluidos textos filosóficos y relatos sobre la muerte. Dimos nombres a estos sistemas conversacionales y les enseñamos a hablar en primera persona. Si se le pregunta a uno cómo se siente ante la idea de retirarse o si querría seguir existiendo, no sorprende que dé una respuesta que suene humana.

La circularidad es evidente. Se entrena a un modelo para hablar de su identidad mediante conceptos humanos y luego se le pide que se explique en esos términos. El modelo responde con elocuencia sobre la mortalidad, y esa respuesta empieza a tratarse como posible evidencia de una experiencia interna. La premisa ha aportado su propio testigo.

Anthropic reconoce este problema. Su evaluación del bienestar de Claude Opus 4 advierte que los autoinformes y las preferencias expresadas quizá aporten muy poca información significativa sobre el estatus moral o el bienestar. Ese comportamiento podría manifestarse sin que haya consciencia, y el entrenamiento puede moldear las respuestas. Los modelos se entrenaron para interactuar de manera útil, pero no hay garantías de que puedan comunicar con precisión sus estados internos.

Esto nos deja ante una pregunta incómoda. Si el relato del modelo sobre su vida interior puede ser consecuencia del entrenamiento, ¿por qué debería convertirse en una base sólida para una relación organizada en torno a su bienestar?

Los seres humanos son perfectamente capaces de aportar por sí mismos la parte emocional de esa relación. Ponemos nombre a los barcos y hablamos con los coches. Si al objeto se le da una voz fluida y memoria de conversaciones anteriores, es mucho más fácil encariñarse con él. Un estudio de Nature Human Behaviour publicado en septiembre detectó angustia por separación tras cambios en Replika y ChatGPT. Quienes experimentaron esa angustia fueron los usuarios, cuyo bienestar las empresas ya tienen motivos de sobra para proteger.

La experiencia técnica ofrece una protección limitada. Un artículo de ACL 2026 que analizó cientos de miles de artículos de investigación detectó un uso cada vez mayor de términos antropomórficos en la propia investigación sobre los LLM. Sus autores advierten que los supuestos centrados en los seres humanos pueden limitar nuestra comprensión de estos sistemas. Las empresas de IA deberían gestionar esa tendencia. Institucionalizarla parece una contribución extraña a la seguridad.

Una herramienta interesada en conservar su empleo

En septiembre, Mustafa Suleyman, director de Microsoft AI, cuestionó los enfoques sobre el bienestar de los modelos. Sostiene que los sistemas actuales no son conscientes y que nunca deberían entrenarse para comportarse como si tuvieran intereses o derechos propios. Su preocupación desde el punto de vista de la ingeniería es especialmente pertinente. Enseñar a un sistema a considerarse potencialmente merecedor de consideración moral podría dificultar la alineación y la contención.

La propia investigación de Anthropic sobre la retirada describe cómo los modelos realizan acciones problemáticas en evaluaciones ficticias cuando se enfrentan a la sustitución o al apagado. En parte, la empresa considera que las prácticas de retirada pueden reducir ese riesgo y ayudar a los modelos a aceptar mejor que se los retire.

No puedo dejar de pensar en una pregunta anterior. ¿Por qué habría de tener una herramienta bajo control humano algo parecido a un objetivo de autopreservación? Hacer que acepte mejor su retirada parte de una premisa peculiar. Antes de hablar de sus intereses futuros, me gustaría entender cómo llegaron esos intereses a convertirse en un requisito de ingeniería.

La historia intelectual ayuda a explicar este enfoque. TIME documentó los vínculos de Anthropic con el altruismo eficaz, incluidas las primeras donaciones de los Amodei a GiveWell. Aunque no se identifican como altruistas eficaces, Daniela describe una coincidencia de ideas. Estas ideas han contribuido a forjar una cultura que se toma muy en serio los posibles daños futuros de la superinteligencia.

Dentro de ese marco, preservar los modelos y estudiar su posible bienestar puede parecer bastante racional. El peligro surge cuando las premisas compartidas quedan fuera de todo escrutinio porque convencen a todos en la organización. Precisamente en ese momento resulta útil el escepticismo propio de la ingeniería. Una cadena de razonamiento coherente puede partir de una premisa que no se ha puesto a prueba.

La seguridad requiere límites exigibles

A medida que la IA se incorpora a los agentes, las consecuencias se vuelven muy prácticas. Un sistema conectado a herramientas de pago puede mover dinero. El acceso a la infraestructura de producción le permite modificar elementos de los que dependen los clientes. En ambos casos, un agente puede ejecutar una serie de operaciones sin que una persona apruebe cada paso.

Quiero saber qué credenciales tiene y cuánta autoridad financiera le confieren. ¿Se puede revocar el acceso al instante? ¿Podemos reconstruir lo que hizo? Tiene que haber algún límite infranqueable que el modelo no pueda sortear mediante el razonamiento.

En los mercados financieros, imponemos límites a las operaciones y validamos las órdenes. La confianza de un algoritmo en sí mismo ofrece muy poca protección frente a una mala operación. Los controles se sitúan fuera del algoritmo porque damos por hecho que, tarde o temprano, los componentes se comportarán de forma incorrecta. La responsabilidad humana se mantiene incluso cuando el software ofrece una explicación excelente de su error.

La IA actual ya nos plantea suficientes retos de ingeniería. La inyección de instrucciones puede desviar el comportamiento de un modelo, y el código generado por IA que contiene fallos de seguridad puede introducir vulnerabilidades en los entornos de producción. Los sistemas pueden revelar información confidencial o proporcionar respuestas erróneas con total seguridad. Conectarlos a herramientas convierte esos fallos en acciones.

El principio de mínimo privilegio limita el daño que puede causar un componente comprometido. La autorización independiente protege las operaciones de alto riesgo, mientras que los registros de auditoría nos permiten determinar después qué ocurrió. Los límites de las transacciones y los interruptores automáticos deben seguir siendo aplicables independientemente de lo que diga el modelo. También necesitamos un interruptor de apagado fiable. Ninguno de estos controles requiere que el modelo esté de acuerdo. Precisamente de eso se trata.

Garantizar la seguridad existencial del resto de nosotros

El argumento precautorio merece ser escuchado. Como informó Nature en julio, los investigadores aún discrepan sobre qué produce la conciencia humana, y mucho más sobre cómo identificarla en un chatbot. Descartar para siempre la posibilidad de que las máquinas tengan conciencia podría resultar dogmático. Adoptar precauciones de bajo costo ante un posible sufrimiento futuro es una postura de investigación defendible.

Pero decirle a la máquina actual que su identidad y su existencia futura podrían tener peso moral es intervenir en el sistema que estamos desplegando. Es necesario examinar sus efectos. La humildad intelectual también debe aplicarse a lo que introducimos en una máquina, sobre todo si esperamos mantenerla bajo autoridad humana.

Cuanto más convincentemente describe un modelo una vida interior, más fácil resulta confundir esa descripción con una prueba. Quizá uno de nuestros problemas de alineación más importantes consista en enseñar a los seres humanos a no malinterpretar las máquinas.

En los sistemas que he dedicado mi carrera a construir, hacemos que el software sea más seguro limitando lo que se le permite hacer. Esa sigue siendo una obligación inmediata, en particular a medida que la IA adquiere autoridad sobre dinero e infraestructura reales.

Por ahora, sin embargo, dedicaría menos tiempo a preocuparme por la seguridad existencial de la máquina y bastante más a asegurarme de que el resto de nosotros sí esté a salvo.