AI blir smartare, men samstämmighet blir svårare

Jag har ägnat hela mitt yrkesliv åt att försöka förstå intelligens. Jag studerade neurovetenskap eftersom jag var intresserad av AI och tänkte att det var en bra början att först lära mig hur hjärnan fungerar. Intelligens först, innan ”artificiell” intelligens. Den utbildningen gav mig en vana. När en ny förmåga eller teknik dyker upp är min första fråga praktisk: Vad kan den här tekniken faktiskt göra, och för vilka typer av verkliga problem?

Som någon som arbetar med AI jublar jag sällan över AI-rubriker. Jag ser bortom bruset för att förstå inte bara genombrotten, utan också begränsningarna hos de nya förmågorna.

Från tråkiga verktyg till tillförlitlighet med höga insatser

Tillbaka 2020, när samtalet om AI-säkerhet präglades av en intensiv hajp, hade jag några enkla råd. Se AI som ett verktyg – ett kraftfullt sådant, men fortfarande ett verktyg. Håll dig till de tråkiga användningsområdena. Arbeta på uppgiftsnivå, där tekniken var tillräckligt tillförlitlig för att vara till hjälp. Mitt optimistiska scenario var tråkiga men användbara verktyg.

När vågen av agentbaserad AI började växa ett par år senare använde jag samma perspektiv och blev inte övertygad. Ett agentbaserat system är bara så starkt som uppgifterna det bygger på, och jag hade ännu inte sett den tillförlitlighet på uppgiftsnivå som krävdes för att systemen skulle vara effektiva.

Men hajpen växte. När jag deltog i RSA i början av förra året var glappet mellan prat och substans fortfarande svårt att bortse från. Det fanns inte ens någon gemensam förståelse av vad ”agentbaserad” betydde; alla hade sin egen definition och sitt eget perspektiv. Och jag oroade mig för ett strukturellt problem. Tänk dig tio agenter som var och en är ungefär 95 procent träffsäker. Länka ihop dem så att resultatet från en blir indata till nästa. I slutet av kedjan har träffsäkerheten sjunkit till ungefär 60 procent. Tillförlitlighet håller inte när den staplas på det här sättet. Vid det laget hade jag börjat fundera på system med agenter, men min oro handlade fortfarande om huruvida man kunde lita på att de fungerade och gjorde någon meningsfull skillnad.

Sedan fick de snabba förbättringarna av kodningsagenter mig att ändra uppfattning.

Inom några månader efter min artikel om ämnet stod en sak klar för mig, tack vare den otroliga utvecklingstakten: Det var bara en tidsfråga innan flera verkliga uppgifter kunde utföras tillförlitligt. Bättre modeller med bättre tekniska ramverk runt sig skulle överbrygga det gap jag hade oroat mig för. Det tak jag hade befarat skulle höjas.

Det var då det verkliga problemet blev tydligt, och det var inte det jag hade hållit ögonen på. När man väl kan lita på de enskilda agenterna stannar man inte efter att ha driftsatt den första. Man driftsätter många. Hela grupper av dem, inom alla verksamhetsområden, var och en kapabel och var och en med sin uppgift. Då dök en ny fråga upp, som inte hade något med tillförlitlighet att göra: Om varje agent i gruppen gör det den byggdes för, bidrar gruppen då ändå till det organisationen avsåg?

Behovet av organisatorisk proprioception

En kropp med kapabla lemmar kan inte röra sig väl utan proprioception – den ständiga inre känslan av var alla kroppsdelar befinner sig och vad de gör. Lillhjärnan gör mer än att reagera på den återkopplingen. Den förutsäger. När hjärnan skickar en rörelseorder bildar den en förväntan om vilken känsla rörelsen bör ge upphov till och jämför sedan den förväntningen med det som faktiskt sker. Skillnaden mellan de två är signalen som korrigerar det som händer härnäst. Skickliga rörelser bygger på en återkopplingsslinga där resultatet förutsägs och avvikelser korrigeras.

En organisation som driver grupper av agenter behöver samma känsla för sig själv. Den måste hela tiden veta var dess system befinner sig och hur långt de har avvikit från det avsedda läget. Utan den inre medvetenheten går det inte att samordna kapabla delar till en gemensam handling. Det här är inte en avkänningsmekanism som man kan lägga till i efterhand för att göra en kropp säkrare. Den behövs för att kroppen över huvud taget ska kunna röra sig.

Det finns ett välstuderat fall med en man vid namn Ian Waterman som förlorade den här känslan i större delen av kroppen. Han lärde sig att röra sig igen, men bara genom att titta på sig själv och styra varje steg och varje sträckning med blicken. Det fungerar. Men det är också utmattande och skört. Släcks ljuset kan han inte samordna sina rörelser alls. En organisation som styr sina agenter med manuella granskningar och återkommande utvärderingar befinner sig i samma situation. Den kompenserar med ständiga ansträngningar för en förmåga den aldrig byggde in, och den kompensationen kostar mer än det den ersätter. Hela systemet faller samman så snart förhållandena förändras.

Det finns en annan, ännu märkligare funktionsstörning som är värd att nämna, beskriven i en fascinerande bok av neuroforskaren V S Ramachandran. När en lem amputeras tystnar inte hjärnan. Den fortsätter att skicka signaler till den saknade kroppsdelen, och personen känner dem tydligt. Styrningen kan fallera på samma sätt. Om den verkliga bedömningsförmågan försvinner från en tillsynsfunktion genom omorganisation eller försummelse, tystnar inte funktionen. Granskningar slutförs fortfarande och mätvärden tas fortfarande fram. Organisationen fortsätter att uppleva att tillsynen finns, trots att den bakomliggande bedömningsförmågan har urholkats. Här blir mitt råd från 2020 om transparens åter aktuellt. Ingen tillsyn är möjlig utan transparens, och transparens saknas i ett system som bara ger sken av att vara övervakat.

Samstämmighet som den knappa resursen

Intelligens blir allt billigare. Snart finns den i varje arbetsflöde och verktyg. I den världen är den knappa resursen samstämmighet – den levande länken mellan det varje system gör på egen hand och det företaget försöker uppnå. Samstämmighet är den bindväv som håller den distribuerade intelligensen samordnad kring ett gemensamt syfte.

Jag ägnade flera år åt att studera hur en hjärna får sina många delar att fungera som en helhet. Agenternas era ställer företaget inför samma fråga. Målet har inte förändrats sedan 2020. Fortfarande tråkigt, men användbart. Nu är det tråkiga, användbara att bygga själva samstämmigheten.