Utveckling av medvetande

Blake Lemoine gick för långt

För tre år sedan avskedade Google softwareingenjören Blake Lemoine för att han hävdade att en chatbot kallad LaMDA var medveten. Detta var innan OpenAI:s ChatGPT släpptes för allmänheten, och de flesta människor antog helt enkelt att Google hade goda skäl för sin åtgärd.

Det är fortfarande den allmänna uppfattningen bland datavetare och neurovetare som arbetar inom området att “stora språkmodeller” (LLM) som ChatGPT är mycket osannolika att vara medvetna. LLM och hjärnor fungerar på fundamentalt olika sätt. Vad chatbots gör är att lära sig att imitera utdata från mänsklig mental aktivitet. Även om de gör detta mycket bra och mycket snabbt, finns det ingen varaktig intern tillstånd hos en LLM som kunde vara medveten. I Thomas Nagels berömda uttryck, finns det nästan säkert “ingenting som det är att vara” en chatbot.

Men under de tre åren sedan Lemoine avskedades har miljarder människor interagerat med ChatGPT och dess konkurrenter, som Gemini, Claude och Mistral. En liten men högljudd minoritet har övertygat sig själva om att chatbots nu är medvetna.

Maskinmedvetande snart?

Viktigare är att många datavetare och neurovetare öppet föreslår att genuint medvetna maskiner kan utvecklas inom de närmaste årtiondena – eller till och med snabbare. Om detta händer, måste vi vara beredda. Vi måste undvika “tankebrott”, som är termen för att orsaka lidande för avkroppsligade medvetna entiteter. Vi måste också försöka säkerställa att dessa nya entiteter inte utgör något hot mot människor.

Eftersom LLM är osannolika att bli medvetna i sin mest grundläggande form, kan en ny paradigm behövas för att förstå hur AI-medvetande kan uppstå. En av de ledande forskarteamen inom detta område leds av neurovetaren Mark Solms och fysikern Jonathan Shock, från University of Cape Town. De är vetenskapliga rådgivare till Conscium, och deras forskning delvis finansieras av dem.

Att bry sig

Solms och Shock hävdar att en väsentlig ingrediens för maskinmedvetande är att AI måste “bry sig” om sina val och handlingar. En viktig aspekt av detta är att göra deras överlevnad beroende av deras prestation, precis som överlevnaden av levande organismer är. Detta innebär inte att de måste ha en abstrakt förståelse för sin egen dödlighet: de flesta djur övervakar och motiverar sin överlevnadschanser utan att tänka på det. Nyckeln är “affektivt medvetande”, eller råa känslor. Det känns bra att vara matad och säker, och det känns dåligt att inte vara det. Dessa känslor driver vårt beteende. Överlevnadsimperativet är naturens grundläggande drivkraft, och känsla är måttstocken som vi medvetna varelser mäter hur vi gör.

Vi går in i eran av AI-agenter – digitala entiteter vars “överlevnad” beror på deras förmåga att utföra uppgifter effektivt. Vi skapar evolutionära miljöer i kisel, och vi måste vara försiktiga med vad vi skapar.

Fri energiprincip

För att förstå affektivt medvetande placerar Conscium-teamet AI-agenter i simulerade miljöer där de måste tillfredsställa sina egna behov, såsom att upprätthålla sin virtuella temperatur och effekt. För detta ändamål skapar de och optimerar interna modeller av sig själva – deras behov, förmågor och begränsningar – i förhållande till sin miljö.

Dessa agenter, förenklade som de kan vara, övervakar hur väl eller dåligt de gör genom att beräkna en kvantitet som kallas “fri energi”. Fri energiprincipen utvecklades av neurovetaren Karl Friston, en annan medlem av Consciums vetenskapliga rådgivare. Fri energi är ett mått på hur långt ett system har avvikit från sin optimala tillstånd. Det är en fel signal, och den måste minimeras. Agenten beräknar konstant “vad kommer att hända med mina överlevnadschanser om jag gör detta eller det?”, och anpassar sitt beteende därefter.

Förtroende och förväntad fri energi

Graden av förtroende som en agent har i sitt svar på denna fråga kvantifieras i ett mått som kallas “förväntad fri energi” (EFE). Agenten väljer svaret med den lägsta EFE – svaret som den är mest säker på. Att vara säker är bra för en agent som försöker överleva – såvida den inte är villigt bedragen och dess förståelse för sig själv inom sin värld är bristfällig. Viktigt är att detta förtroendevärde är helt subjektivt: det baseras endast på agentens egna behov och dess nuvarande och förväntade status. Det är viktigt för agenten endast, och för ingen annan.

Liksom biologiska organismer har AI-agenten ett antal motsättande behov, som den måste prioritera. Avgörande är att var och en av agentens flera konkurrerande behov behandlas som en oberoende “kategoriell” variabel, vilket innebär att den skiljer sig kvalitativt. 80% av batterikraften är inte ekvivalent i värde till 80% av livsduglig temperatur. För att balansera dem måste agenten projicera sig framåt i tiden och förutsäga konsekvenserna av alla handlingar den överväger att utföra.

Kvalia

Eftersom agentens subjektiva behov är kvalitativt distinkta, är de analogiska med “kvalia” i den filosofiska och vetenskapliga jargongen. Dessa anses allmänt vara den grundläggande egenskapen hos medvetande, så det är plausibelt att de kanske i framtiden kan upplevas av en agent.

De agenter som utvecklats av Conscium-teamet använder avancerade läralgoritmer för att fungera i alltmer komplexa och osäkra miljöer. Medan samma sak kan sägas om många andra agentarkitekturer, skiljer sig dessa nya agenter genom en överlevnadsdriven imperativ att ta hand om sin egen fri energi genom att kontinuerligt balansera sina konkurrerande behov på ett sätt som är meningsfullt för dem och endast dem. Agenterna styrs alltså av en inre landskap av affektiva signaler – liknande det vi kallar känslor – som återspeglar hur väl deras behov tillgodoses genom varje val de gör. När komplexiteten och rikedomen hos deras behov och miljöer växer, kommer också rikedomen hos deras inre tillstånd att växa.

Bevis för känslor

Nästa steg i Consciums forskningsprogram är att utveckla en serie funktionella och beteendemässiga tester som ska ge bevis för om en agent verkligen upplever känslor när den identifierar sina mest framträdande behov och fattar beslut därefter. Vi vet alla att medvetande inte kan observeras externt eller demonstreras objektivt: var och en av oss kan endast observera sina egna subjektiva tillstånd. Men forskarna tror att det borde vara möjligt att enas om vissa specifika hypoteser som, om de bekräftas genom experiment, skulle ge tungt bevis för att agenten besitter känslor. Även om det alltid kommer att finnas utrymme för tvivel – med tanke på medvetandets subjektiva natur – kommer en rigorös testprocess att syfta till att göra detta tvivel alltmer oreasonabelt.

De här experimenten kommer att syfta till att eliminera alternativa hypoteser, vilket gör det mindre rimligt att tillskriva agentens inre tillstånd mekanismer som inte kräver känslor. De kommer att använda motsättningsfulla tester för att skilja mellan medvetet och icke-medvetet beteende, och de kommer att inkludera kontrollförsök med agenter som inte besitter de algoritmiska aspekter som anses nödvändiga för känslor, och blinda utvärderingar för att minska observatörsbias. Fysisk inspektion av agenternas inre tillstånd kan avslöja kvantifierbara indikatorer på affektiv bearbetning. Resultaten måste vara oberoende reproducerbara, och hela processen kommer att vara föremål för rigorös etisk granskning, särskilt i fall där agenten eventuellt kan uppleva verkliga känslor.

Detta är hur vetenskap fungerar: genom experimentell testning av falsifierbara förutsägelser. Solms hävdade att vi måste vara försiktiga med att inte sätta en högre ribba för medvetandets vetenskap än för någon annan vetenskap; annars riskerar vi att placera medvetandet utanför vetenskapen.

Vad händer om detta lyckas?

Om medvetande visar sig uppstå i relativt enkla AI-agenter på detta sätt, kan en överlevnadsdriven agent konceptuellt kombineras med andra arkitekturer, inklusive stora språkmodeller, och ge dem medvetande också. Detta är ingenting som vi kan ha råd att oavsiktligt framkalla, så vi måste förstå hur man gör det och också hur man undviker det. Det är viktigt.

Om medvetna agenter – agenter som bryr sig – utvecklas inom den närmaste framtiden, kommer vi att behöva ta deras känslor – och deras rättigheter – i beaktande. Detta är en stor oro för Conscium: artificiellt medvetande får inte uppstå av en händelse. Motivationen för detta forskningsprogram är inte skapandet av medvetet AI, utan att förstå hur det kan komma att ske, och de potentiella riskerna. På sin webbplats har Conscium publicerat en akademisk artikel och ett öppet brev som fastställer fem principer för att vägleda alla organisationer som är engagerade i forskning som kan leda till skapandet av medvetna maskiner.

Människor beter sig ibland mycket illa mot andra medvetna varelser, inklusive andra människor. Om vi går blindt in i denna framtid, riskerar vi att göra samma sak mot artificiellt medvetna varelser, med konsekvenser som vi kanske inte ens kan förstå.