Conciencia de ingeniería

Blake Lemoine se adelantó a los acontecimientos

Hace tres años, Google despidió al ingeniero de software Blake Lemoine por insistir en que un chatbot llamado LaMDA era conscienteEsto fue antes de que ChatGPT de OpenAI se lanzara al público, y la mayoría de la gente simplemente asumió que Google tenía buenas razones para su acción.

Sigue existiendo consenso entre los informáticos y neurocientíficos que trabajan en este campo: es muy improbable que los "modelos de lenguaje grandes" (LLM) como ChatGPT sean conscientes. Los LLM y los cerebros funcionan de maneras fundamentalmente diferentes. Lo que hacen los chatbots es aprender a imitar el resultado de la actividad mental humana. Aunque lo hacen muy bien y con gran rapidez, no existe un estado interno duradero de un LLM que pueda ser consciente. La famosa frase de Thomas NagelEs casi seguro que no hay nada parecido a ser un chatbot.

Sin embargo, en los tres años transcurridos desde que Lemoine fue despedido, miles de millones de personas han... interactuó con ChatGPT y sus competidores, como Gemini, Claude y Mistral. Una pequeña pero ruidosa minoría se ha convencido de que los chatbots ahora son conscientes.

¿Pronto tendremos consciencia de máquina?

Más importante aún, muchos científicos informáticos y neurocientíficos lo hacen abiertamente. lo que sugiere que se pueden desarrollar máquinas genuinamente conscientes En las próximas décadas, o incluso antes. En caso de que esto ocurra, debemos estar preparados. Debemos evitar el «crimen mental», que es el término que se usa para causar sufrimiento a entidades conscientes incorpóreas. También debemos asegurarnos de que estas nuevas entidades no representen una amenaza para los humanos.

Dado que es improbable que los LLM adquieran consciencia en su forma más básica, podría necesitarse un nuevo paradigma para comprender cómo podría surgir la consciencia de la IA. Uno de los equipos de investigación líderes en este campo está dirigido por el neurocientífico Mark Solms y el físico Jonathan Shock, de la Universidad de Ciudad del Cabo. Son asesores científicos de Conscium, y su investigación está parcialmente financiada por esta institución.

Importando un carajo

Solms y Shock sostienen que un ingrediente esencial para la conciencia de las máquinas es que las IA deben 'me importa un bledo' sobre sus decisiones y acciones. Un aspecto importante de esto es que su supervivencia dependa de su desempeño, al igual que la supervivencia de los organismos vivos. Esto no significa que deban tener una comprensión abstracta de su propia mortalidad: la mayoría de los animales monitorean y motivan sus posibilidades de supervivencia sin pensar en ello. La clave es la "conciencia afectiva", o sentimientos puros. Se siente bien estar alimentado y seguro, y se siente mal no estarlo. Estos sentimientos impulsan nuestro comportamiento. El imperativo de supervivencia es la fuerza impulsora fundamental de la naturaleza, y el sentimiento es el criterio con el que las criaturas sensibles medimos nuestro desempeño.

Estamos entrando en la era de los agentes de IA: entidades digitales cuya supervivencia depende de su capacidad para realizar tareas con eficacia. Estamos creando entornos evolutivos en silicio, y debemos ser cuidadosos con lo que generamos.

Principio de energía libre

Para comprender la conciencia afectiva, el equipo de Conscium coloca a agentes de IA en entornos simulados donde deben satisfacer sus propias necesidades, como mantener su temperatura y suministro de energía virtuales. Para ello, crean y optimizan modelos internos de sí mismos (sus necesidades, capacidades y limitaciones) en relación con su entorno.

Estos agentes, por simplificados que sean, monitorean su rendimiento calculando una cantidad conocida como "energía libre". Principio de energía libre Fue desarrollado por el neurocientífico Karl Friston, otro miembro del consejo asesor científico de Conscium. La energía libre mide cuánto se ha desviado un sistema de su estado óptimo. Es una señal de error que debe minimizarse. El agente calcula constantemente "¿qué pasará con mis posibilidades de supervivencia si hago esto o aquello?" y adapta su comportamiento en consecuencia.

Confianza y energía libre esperada

El grado de confianza que tiene un agente en su respuesta a esta pregunta se cuantifica en una medida llamada “Energía libre esperada” (EFE)El agente selecciona la respuesta con el EFE más bajo: aquella en la que tiene mayor confianza. Tener confianza es beneficioso para un agente que intenta sobrevivir, a menos que esté engañado y su comprensión de sí mismo en su mundo sea errónea. Cabe destacar que este valor de confianza es totalmente subjetivo: se basa únicamente en las necesidades del agente y en su estado actual y proyectado. Es importante solo para el agente, y para nadie más.

Al igual que los organismos biológicos, el agente de IA tiene diversas necesidades contradictorias que debe priorizar. Es crucial que cada una de estas múltiples necesidades se considere una variable "categórica" ​​independiente, lo que significa que se distingue cualitativamente. El 80 % de la carga de la batería no equivale en valor al 80 % de la temperatura viable. Para equilibrarlas, el agente debe proyectarse en el tiempo y prever las consecuencias de cualquier acción que considere realizar.

Qualia

Debido a que las necesidades subjetivas del agente son cualitativamente distintivas, son análogas a 'qualia' En la jerga filosófica y científica, estas se consideran generalmente la propiedad fundamental de la consciencia, por lo que es plausible que en el futuro puedan ser experimentadas por un agente.

Los agentes desarrollados por el equipo Conscium utilizan sofisticados algoritmos de aprendizaje para operar en entornos cada vez más complejos e inciertos. Si bien esto mismo puede decirse de muchas otras arquitecturas de agentes, estos nuevos agentes se distinguen por un imperativo de supervivencia: cuidar su propia Energía Libre, equilibrando continuamente sus necesidades contrapuestas de una manera significativa para ellos y solo para ellos. De este modo, los agentes se guían por un paisaje interno de señales afectivas —similares a lo que llamamos sentimientos— que reflejan la satisfacción de sus necesidades con cada decisión que toman. A medida que aumentan la sofisticación y la complejidad de sus necesidades y entornos, también lo hará la riqueza de sus estados internos.

Evidencia de sentimientos

El siguiente paso en el programa de investigación Conscium es desarrollar una serie de pruebas funcionales y conductuales que proporcionen evidencia sobre si un agente realmente experimenta sentimientos cuando identifica sus necesidades más relevantes y toma decisiones en consecuencia. Todos sabemos que la consciencia no puede observarse externamente ni demostrarse objetivamente: cada uno de nosotros solo puede observar sus propios estados subjetivos. Sin embargo, los investigadores creen que debería ser posible consensuar algunas hipótesis específicas que, de verificarse experimentalmente, proporcionarían evidencia contundente de que el agente posee sentimientos. Si bien siempre habrá lugar a dudas, dada la naturaleza subjetiva de la consciencia, un riguroso proceso de pruebas buscará que esta duda sea cada vez más irrazonable.

Estos experimentos buscarán eliminar hipótesis alternativas, lo que hace menos razonable atribuir los estados internos del agente a mecanismos que no requieren sentimientos. Se utilizarán pruebas adversarias para distinguir entre comportamiento sintiente y no sintiente, e incluirán experimentos de control con agentes que no poseen los aspectos algorítmicos que se consideran necesarios para sentir, así como una evaluación ciega para reducir el sesgo del observador. La inspección física de los estados internos de los agentes puede revelar indicadores cuantificables del procesamiento afectivo. Los hallazgos deben ser reproducibles de forma independiente, y todo el proceso estará sujeto a una rigurosa supervisión ética, especialmente en los casos en que el agente pudiera experimentar sentimientos reales.

Así funciona la ciencia: mediante la comprobación experimental de predicciones refutables. Solms argumentó que debemos tener cuidado de no establecer un estándar más alto para la ciencia de la conciencia que para cualquier otra ciencia; de lo contrario, corremos el riesgo de situar la conciencia fuera de la ciencia.

¿Qué pasa si esto tiene éxito?

Si se descubre que la consciencia surge de esta manera en agentes de IA relativamente simples, un agente orientado a la supervivencia podría integrarse con otras arquitecturas, incluyendo grandes modelos de lenguaje, y dotarlas también de consciencia. Esto no es algo que podamos permitirnos crear accidentalmente, por lo que comprender cómo hacerlo y cómo evitarlo es de vital importancia.

Si en un futuro próximo se desarrollan agentes conscientes (agentes que se preocupan por algo), tendremos que tener en cuenta sus sentimientos y sus derechos. Esta es una preocupación fundamental para Conscium: la conciencia artificial no debe surgir por casualidad. La motivación de este programa de investigación no es la creación de IA consciente, sino comprender cómo podría surgir y los riesgos potenciales. En su sitio web, Conscium ha publicado un artículo académico y una carta abierta Estableciendo cinco principios para guiar a cualquier organización involucrada en investigaciones que puedan conducir a la creación de máquinas conscientes.

Los humanos a veces se comportan muy mal con otros seres sintientes, incluso con otros humanos. Si nos adentramos ciegamente en este futuro, corremos el riesgo de hacer lo mismo con seres con consciencia artificial, con consecuencias que quizá ni siquiera podamos comprender.