KI blir smartere; det blir vanskeligere å skape sammenheng

Hele karrieren min har jeg forsøkt å forstå intelligens. Jeg studerte nevrovitenskap fordi jeg var interessert i KI, og tenkte at det var lurt å begynne med å lære hvordan hjernen fungerer. Intelligens først, før «kunstig» intelligens. Utdanningen ga meg en vane. Når en ny evne eller teknologi dukker opp, er det første spørsmålet mitt praktisk: Hva kan dette egentlig gjøre, og hvilke typer problemer i den virkelige verden kan det løse?

Som en som jobber med KI, jubler jeg sjelden over KI-overskrifter. Jeg ser forbi støyen for å forstå ikke bare gjennombruddene, men også begrensningene ved de nye mulighetene.

Fra kjedelige verktøy til pålitelighet med mye på spill

Tilbake i 2020, da debatten om KI-sikkerhet var preget av intens hype, hadde jeg noen enkle råd. Se på KI som et verktøy – et kraftig verktøy, men fortsatt et verktøy. Hold dere til de kjedelige bruksområdene. Jobb på oppgavenivå, der teknologien var pålitelig nok til å være til hjelp. Mitt optimistiske scenario besto av kjedelige, men nyttige verktøy.

Da bølgen av agentbaserte systemer begynte å bygge seg opp et par år senere, tok jeg med meg det samme perspektivet og lot meg ikke overbevise. Et agentbasert system er bare så godt som oppgavene det bygger på, og jeg hadde ennå ikke sett den påliteligheten på oppgavenivå som skulle til for at disse systemene skulle fungere effektivt.

Hypebølgen vokste imidlertid. Da jeg deltok på RSA tidlig i fjor, var det fortsatt vanskelig å overse avstanden mellom snakk og substans. Det fantes ikke engang noen felles forståelse av hva «agentbasert» betydde; alle hadde sin egen definisjon og sitt eget perspektiv. Og jeg var bekymret for et strukturelt problem. Tenk deg ti agenter, som hver er omtrent 95 prosent nøyaktige. Koble dem sammen slik at resultatet fra én blir inndata for den neste. Når du kommer til enden av kjeden, er nøyaktigheten nede i omtrent 60 prosent. Påliteligheten holder ikke når leddene stables. På det tidspunktet begynte jeg å tenke på systemer av agenter, selv om bekymringen min fortsatt var om de kunne stoles på til å gjøre jobben og utgjøre en meningsfull forskjell.

Deretter endret de raske forbedringene i kodeagenter synet mitt.

I løpet av noen måneder etter artikkelen min om temaet gjorde det utrolige tempoet i utviklingen én ting klart for meg: Det ville bare være et tidsspørsmål før flere oppgaver i den virkelige verden kunne utføres pålitelig. Bedre modeller, med bedre tekniske rammeverk rundt seg, kom til å tette gapet jeg hadde vært bekymret for. Taket jeg hadde fryktet, kom til å løfte seg.

Det var da det egentlige problemet kom til syne, og det var ikke det jeg hadde fulgt med på. Når du først kan stole på de enkelte agentene, stopper du ikke etter å ha tatt i bruk den første. Du tar i bruk mange. Hele flåter av dem, på tvers av alle funksjoner, der hver agent er kapabel og gjør jobben sin. Og et nytt spørsmål dukket opp, et som ikke hadde noe med pålitelighet å gjøre: Hvis hver agent i flåten gjør det den er laget for, bidrar flåten som helhet likevel til å oppnå det organisasjonen hadde til hensikt?

Behovet for organisatorisk propriosepsjon

En kropp med velfungerende lemmer kan ikke bevege seg godt uten propriosepsjon – den konstante indre fornemmelsen av hvor alle kroppsdelene befinner seg, og hva de gjør. Lillehjernen nøyer seg ikke med å reagere på denne tilbakemeldingen. Den forutsier. Når hjernen sender en kommando om å bevege seg, danner den en forventning om hvilke sanseinntrykk bevegelsen bør gi, og sammenligner deretter denne forventningen med det som faktisk skjer. Avstanden mellom de to er signalet som korrigerer det som skjer videre. Dyktige bevegelser består av en sløyfe der resultatet forutsies og forskjellen korrigeres.

En organisasjon som driver flåter av agenter, trenger den samme fornemmelsen av seg selv. Den må til enhver tid vite hvor systemene befinner seg, og hvor langt de har drevet bort fra den tilstanden de var ment å være i. Uten denne indre bevisstheten blir ikke de kapable delene til samordnet handling. Dette er ikke en mekanisme for å registrere tilstanden som du kan føye til en kropp senere for å gjøre den tryggere. Den er nødvendig for at kroppen i det hele tatt skal kunne bevege seg.

Det finnes en grundig studert historie om en mann ved navn Ian Waterman, som mistet denne sansen i det meste av kroppen. Han lærte seg å bevege seg igjen, men bare ved å se på seg selv og styre hvert skritt og hver bevegelse med øynene. Det fungerer. Men det er også utmattende og skjørt. Slår man av lyset, klarer han ikke å koordinere bevegelser i det hele tatt. En organisasjon som styrer agentene sine gjennom manuelle revisjoner og periodiske gjennomganger, befinner seg i samme situasjon. Den kompenserer med en konstant innsats for en sans den aldri har utviklet, og denne kompensasjonen koster mer enn det den erstatter. Hele systemet bryter sammen så snart forholdene endrer seg.

Det er verdt å nevne en annen, merkeligere svikt, som beskrives i en fascinerende bok av nevrovitenskapsmannen V S Ramachandran. Når en kroppsdel amputeres, blir ikke hjernen stille. Den fortsetter å sende signaler til den manglende kroppsdelen, og personen kjenner dem tydelig. Styring kan svikte på samme måte. Hvis en tilsynsfunksjon mister det reelle skjønnet sitt som følge av omorganisering eller forsømmelse, blir den ikke stille. Gjennomgangene blir fortsatt fullført, og måltallene blir fortsatt produsert. Organisasjonen fortsetter å kjenne en følelse av tilsyn, mens skjønnet som ligger bak, er uthult. Her blir rådet mitt fra 2020 om åpenhet aktuelt igjen. Det finnes ikke noe tilsyn uten åpenhet, og det finnes ingen åpenhet i et system som bare gir inntrykk av å bli overvåket.

Sammenheng som den knappe ressursen

Intelligens blir stadig billigere. Snart vil den finnes i hver arbeidsflyt og hvert verktøy. I en slik verden er den knappe ressursen sammenheng – den levende forbindelsen mellom det hvert system gjør på egen hånd, og det virksomheten prøver å oppnå. Sammenheng er bindevevet som holder distribuert intelligens samordnet mot ett formål.

Jeg brukte flere år på å studere hvordan hjernen får alle delene sine til å fungere som én helhet. Agentenes tidsalder stiller virksomheten overfor det samme spørsmålet. Målet har ikke endret seg siden 2020. Fortsatt kjedelig, men nyttig. Nå er det selve sammenhengen som er det kjedelige, nyttige vi må bygge.