AI bliver klogere; sammenhængskraft bliver sværere

Jeg har brugt hele min karriere på at forsøge at forstå intelligens. Jeg læste neurovidenskab, fordi jeg var interesseret i AI og tænkte, at det var en god måde at begynde på at lære, hvordan hjernen fungerer. Først intelligens, derefter »kunstig« intelligens. Den uddannelse gav mig en vane. Når en ny evne eller teknologi dukker op, er mit første spørgsmål praktisk. Hvad kan den egentlig gøre, og hvilke typer problemer i den virkelige verden kan den løse?

Som en, der arbejder med AI, hepper jeg sjældent på AI-overskrifter. Jeg ser forbi støjen for at forstå ikke kun gennembruddene, men også begrænsningerne ved de nye muligheder.

Fra kedelige værktøjer til pålidelighed, hvor meget står på spil

Tilbage i 2020, da debatten om AI-sikkerhed var præget af en voldsom hype, havde jeg et enkelt råd. Behandl AI som et værktøj – et kraftfuldt værktøj, men stadig et værktøj. Hold jer til de kedelige anvendelser. Arbejd på opgaveniveau, hvor teknologien var pålidelig nok til at være til hjælp. Mit optimistiske scenarie bestod af kedelige, men nyttige værktøjer.

Da bølgen af agentbaserede systemer begyndte at tage fart et par år senere, så jeg på den med samme blik og lod mig ikke overbevise. Et agentbaseret system er kun så stærkt som de opgaver, det bygger på, og jeg havde endnu ikke set den pålidelighed på opgaveniveau, der skulle til, for at disse systemer kunne være effektive.

Hypebølgen voksede imidlertid. Da jeg deltog i RSA tidligt sidste år, var det stadig svært at overse kløften mellem snak og substans. Der var ikke engang en fælles forståelse af, hvad »agentbaseret« betød; alle havde deres egen definition og opfattelse. Og jeg var bekymret for et strukturelt problem. Tag ti agenter, som hver er omkring 95 procent præcise. Kæd dem sammen, så outputtet fra den ene bliver inputtet til den næste. Når man når enden af kæden, er præcisionen faldet til omkring 60 procent. Pålidelighed overlever ikke, når den bygges oven på sig selv. På det tidspunkt var jeg begyndt at tænke på systemer af agenter, selv om min bekymring stadig var, om man kunne stole på, at de arbejdede og gjorde en meningsfuld forskel.

Derefter ændrede de hurtige forbedringer af kodeagenter min opfattelse.

Inden for få måneder efter min artikel om emnet gjorde det utrolige tempo i udviklingen én ting klart for mig. Det var kun et spørgsmål om tid, før flere opgaver i den virkelige verden kunne løses pålideligt. Bedre modeller med bedre tekniske rammer omkring sig ville lukke det hul, jeg havde været bekymret for. Den begrænsning, jeg havde frygtet, ville blive overvundet.

Det var dér, det egentlige problem kom i fokus, og det var ikke det problem, jeg havde holdt øje med. Når man først kan stole på de enkelte agenter, stopper man ikke efter at have taget den første i brug. Man tager mange i brug. Hele flåder af dem på tværs af alle funktioner – hver især kompetente og hver især i stand til at udføre deres opgave. Og så opstod et nyt spørgsmål, som ikke havde noget med pålidelighed at gøre. Hvis hver agent i flåden gør det, den er bygget til, bidrager flåden så stadig samlet set til det, organisationen havde til hensigt?

Behovet for organisatorisk kropssans

En krop med stærke lemmer kan ikke bevæge sig godt uden proprioception – den konstante indre fornemmelse af, hvor alle kropsdelene befinder sig, og hvad de gør. Lillehjernen nøjes ikke med at reagere på denne feedback. Den forudsiger. Når hjernen sender en kommando om en bevægelse, danner den en forventning om, hvilken fornemmelse bevægelsen bør fremkalde, og sammenholder derefter forventningen med det, der faktisk sker. Forskellen mellem de to er det signal, der korrigerer det næste. Dygtige bevægelser bygger på en løkke, hvor resultatet forudsiges, og afvigelsen korrigeres.

En organisation, der driver flåder af agenter, har brug for den samme fornemmelse af sig selv. Den skal løbende vide, hvor dens systemer befinder sig, og hvor langt de har fjernet sig fra den tilstand, de var tiltænkt at have. Uden denne indre bevidsthed bliver kompetente dele ikke til koordineret handling. Det er ikke en mekanisme til at registrere, hvad der sker, som man senere føjer til en krop for at gøre den mere sikker. Den er nødvendig, for at kroppen overhovedet kan bevæge sig.

Der findes et indgående undersøgt tilfælde med en mand ved navn Ian Waterman, som mistede denne sans i det meste af kroppen. Han lærte at bevæge sig igen, men kun ved at holde øje med sig selv og styre hvert skridt og hver række ud efter noget med øjnene. Det virker. Men det er også udmattende og skrøbeligt. Slukker man lyset, kan han slet ikke koordinere sine bevægelser. En organisation, der styrer sine agenter gennem manuelle revisioner og periodiske evalueringer, befinder sig i samme situation. Den kompenserer med en konstant indsats for en sans, den aldrig har opbygget, og denne kompensation koster mere end det, den erstatter. Hele systemet bryder sammen, så snart forholdene ændrer sig.

Der er et andet, endnu mere mærkværdigt svigt, som er værd at nævne, beskrevet i en fascinerende bog af neurovidenskabsmanden V S Ramachandran. Når et lem amputeres, bliver hjernen ikke tavs. Den bliver ved med at sende signaler til det manglende lem, og personen mærker dem tydeligt. Styring og tilsyn kan svigte på samme måde. Hvis den reelle dømmekraft fjernes fra en tilsynsfunktion gennem omstrukturering eller forsømmelse, bliver funktionen ikke tavs. Evalueringer bliver stadig gennemført, og målinger bliver stadig udarbejdet. Organisationen bliver ved med at opleve følelsen af tilsyn, mens den dømmekraft, der ligger bag, er blevet udhulet. Her vender mit råd fra 2020 om gennemsigtighed tilbage. Der er intet tilsyn uden gennemsigtighed, og der er ingen gennemsigtighed i et system, der kun skaber indtrykket af at blive overvåget.

Sammenhængskraft som den knappe ressource

Intelligens bliver billigere. Snart vil den indgå i alle arbejdsgange og alle værktøjer. I den verden er sammenhæng den knappe ressource – det levende bindeled mellem det, hvert system gør på egen hånd, og det, virksomheden forsøger at opnå. Sammenhæng er det forbindende væv, der holder den distribuerede intelligens rettet mod ét fælles mål.

Jeg brugte flere år på at studere, hvordan en hjerne får sine mange dele til at fungere som en helhed. Den agentiske æra stiller virksomheden over for det samme spørgsmål. Målet har ikke ændret sig siden 2020. Stadig kedeligt, men nyttigt. Nu er det kedelige, nyttige, man skal opbygge, selve sammenhængen.