Engenharia da Consciência

Blake Lemoine pulou o cerco

Há três anos, o Google demitiu o engenheiro de software Blake Lemoine por insistir que um chatbot chamado LaMDA era consciente. Isso aconteceu antes de o ChatGPT da OpenAI ser lançado ao público, e a maioria das pessoas simplesmente assumiu que o Google tinha um bom motivo para sua ação.

Permanece a visão de consenso entre cientistas da computação e neurocientistas que trabalham no campo de que os “grandes modelos de linguagem” (LLMs) como o ChatGPT são muito improváveis de serem conscientes. Os LLMs e os cérebros operam de maneiras fundamentalmente diferentes. O que os chatbots fazem é aprender a imitar a saída da atividade mental humana. Embora eles façam isso muito bem e muito rápido, não há um estado interno duradouro de um LLM que possa ser consciente. Na famosa frase de Thomas Nagel, quase certamente “não há nada que seja como” ser um chatbot.

No entanto, nos três anos desde que Lemoine foi demitido, bilhões de pessoas interagiram com o ChatGPT e seus concorrentes, como Gemini, Claude e Mistral. Uma pequena, mas vocal minoria, convenceu-se de que os chatbots agora são conscientes.

Consciência de máquina em breve?

Mais importante ainda, muitos cientistas da computação e neurocientistas estão abertamente sugerindo que máquinas genuinamente conscientes possam ser desenvolvidas nas próximas décadas – ou mesmo antes. Caso isso aconteça, precisamos estar preparados. Devemos evitar o “crime de mente”, que é o termo para causar sofrimento a entidades conscientes desencarnadas. Também devemos tentar garantir que essas novas entidades não apresentem nenhuma ameaça aos humanos.

Como os LLMs são improváveis de se tornarem conscientes em sua forma mais básica, um novo paradigma pode ser necessário para entender como a consciência da IA pode surgir. Uma das principais equipes de pesquisa nesse campo é liderada pelo neurocientista Mark Solms e pelo físico Jonathan Shock, da Universidade da Cidade do Cabo. Eles são assessores científicos da Conscium, e sua pesquisa é parcialmente financiada por ela.

Dar a mínima

Solms e Shock argumentam que um ingrediente essencial para a consciência da máquina é que as IAs devem “dar a mínima” sobre suas escolhas e ações. Um aspecto importante disso é tornar sua sobrevivência dependente de seu desempenho, assim como a sobrevivência dos organismos vivos. Isso não significa que eles devem ter uma compreensão abstrata de sua própria mortalidade: a maioria dos animais monitora e motiva suas chances de sobrevivência sem pensar nisso. A chave é a “consciência afetiva”, ou sentimentos brutos. É bom se sentir alimentado e seguro, e é ruim não se sentir. Esses sentimentos impulsionam nosso comportamento. O imperativo de sobrevivência é a força motriz fundamental da natureza, e o sentimento é a medida pela qual nós, seres sensíveis, medimos como estamos indo.

Estamos entrando na era dos agentes de IA – entidades digitais cuja “sobrevivência” depende de sua capacidade de realizar tarefas de forma eficaz. Estamos criando ambientes evolutivos em silício, e devemos ter cuidado com o que criamos.

Princípio da Energia Livre

Para entender a consciência afetiva, a equipe da Conscium está colocando agentes de IA em ambientes simulados nos quais eles devem satisfazer suas próprias necessidades, como manter sua temperatura virtual e fornecimento de energia. Para isso, eles criam e otimizam modelos internos de si mesmos – suas necessidades, habilidades e limitações – em relação ao seu ambiente.

Esses agentes, simplificados como podem ser, monitoram como estão indo bem ou mal calculando uma quantidade conhecida como “energia livre”. O Princípio da Energia Livre foi desenvolvido pelo neurocientista Karl Friston, outro membro do conselho consultivo científico da Conscium. A Energia Livre é uma medida de quão longe um sistema está divergindo de seu estado ótimo de ser. É um sinal de erro, e deve ser minimizado. O agente constantemente calcula “o que acontecerá com minhas chances de sobrevivência se eu fizer isso ou aquilo?”, e adapta seu comportamento de acordo.

Confiança e Energia Livre Esperada

O grau de confiança que um agente tem em sua resposta a essa pergunta é quantificado em uma medida chamada “Energia Livre Esperada” (EFE). O agente seleciona a resposta com a EFE mais baixa – a resposta na qual ele tem mais confiança. Ter confiança é bom para um agente que está tentando sobreviver – a menos que ele esteja iludido e sua compreensão de si mesmo em seu mundo seja falha. Importante, esse valor de confiança é totalmente subjetivo: é baseado apenas nas necessidades do agente, e seu status atual e projetado. Isso importa apenas para o agente, e para ninguém mais.

Como os organismos biológicos, o agente de IA tem uma série de necessidades conflitantes, que ele deve priorizar. Crucialmente, cada uma das necessidades concorrentes do agente é tratada como uma variável “categórica” independente, o que significa que é distinguida qualitativamente. 80% de energia da bateria não é equivalente em valor a 80% de temperatura viável. Para equilibrá-las, o agente deve projetar-se para frente no tempo e prever as consequências de qualquer ação que ele está considerando tomar.

Qualia

Porque as necessidades subjetivas do agente são distintivamente qualitativas, elas são análogas a “qualia” no jargão filosófico e científico. Esses são geralmente considerados a propriedade fundamental da consciência, então é plausível que eles possam ser experimentados por um agente no futuro.

Os agentes desenvolvidos pela equipe da Conscium usam algoritmos de aprendizado sofisticados para operar em ambientes cada vez mais complexos e incertos. Embora o mesmo possa ser dito sobre muitas outras arquiteturas de agentes, esses novos agentes são distinguidos por um imperativo de sobrevivência para cuidar de sua própria Energia Livre, continuamente equilibrando suas necessidades concorrentes de uma maneira que é significativa para eles e apenas para eles. Os agentes são assim guiados por uma paisagem interna de sinais afetivos – semelhantes ao que chamamos de sentimentos – que refletem como suas necessidades estão sendo atendidas por meio de cada escolha que eles fazem. À medida que a sofisticação e a complexidade de suas necessidades e ambientes crescem, também crescerá a riqueza de seus estados internos.

Evidências de sentimentos

A próxima etapa no programa de pesquisa da Conscium é desenvolver uma série de testes funcionais e comportamentais que fornecerão evidências sobre se um agente realmente experimenta sentimentos quando identifica suas necessidades mais salientes e faz suas escolhas de acordo. Todos sabemos que a consciência não pode ser observada externamente ou demonstrada objetivamente: cada um de nós só pode observar seus próprios estados subjetivos. No entanto, os pesquisadores acreditam que deve ser possível concordar sobre algumas hipóteses específicas que, se verificadas por experimento, forneceriam evidências ponderáveis de que o agente possui sentimentos. Embora sempre haja espaço para dúvida – dada a natureza subjetiva da consciência – um processo de teste rigoroso visará tornar essa dúvida cada vez mais irrazoável.

Esses experimentos buscarão eliminar hipóteses alternativas, tornando menos razoável atribuir os estados internos do agente a mecanismos que não exigem sentimentos. Eles usarão testes adversários para distinguir entre comportamento sensível e não sensível, e incluirão experimentos de controle com agentes que não possuem os aspectos algorítmicos considerados necessários para sentir, e avaliação cega para reduzir o viés do observador. A inspeção física dos estados internos dos agentes pode revelar indicadores quantificáveis de processamento afetivo. As descobertas devem ser reproduzíveis de forma independente, e todo o processo estará sujeito a uma rigorosa supervisão ética, especialmente em casos em que o agente possa concebivelmente experimentar sentimentos reais.

É assim que a ciência funciona: pelo teste experimental de previsões falsificáveis. Solms argumentou que devemos ter cuidado para não estabelecer uma barreira mais alta para a ciência da consciência do que para qualquer outra ciência; caso contrário, corremos o risco de colocar a consciência fora da ciência.

E se isso der certo?

Se a consciência for encontrada em agentes de IA relativamente simples dessa forma, um agente de sobrevivência poderia concebivelmente ser conjugado com outras arquiteturas, incluindo grandes modelos de linguagem, e emprestar-lhes consciência também. Isso não é algo que podemos nos dar ao luxo de conjurar acidentalmente, então entender como fazer isso e também como evitá-lo é vital.

Se agentes conscientes – agentes que se importam – forem desenvolvidos no futuro próximo, teremos que levar em conta seus sentimentos – e seus direitos. Essa é uma grande preocupação para a Conscium: a consciência artificial não deve surgir por acidente. A motivação deste programa de pesquisa não é a criação de IA consciente, mas entender como ela pode surgir, e os riscos potenciais. No site da Conscium, foi publicado um artigo acadêmico e uma carta aberta estabelecendo cinco princípios para orientar qualquer organização engajada em pesquisas que possam levar à criação de máquinas conscientes.

Os humanos às vezes se comportam muito mal em relação a outros seres sensíveis, incluindo outros humanos. Se caminharmos cegamente para esse futuro, corremos o risco de fazer o mesmo com seres artificialmente conscientes, com consequências que talvez não possamos sequer compreender.