KI-dommedagshype og KI-vibekafeer: Styringsspørsmålene vi ikke har råd til å overse

Er vi dømt? Er KI bevisst? Og hvorfor åpner KI-selskaper kafeer?

Disse spørsmålene er slående, urovekkende og – særlig når det gjelder bevissthet – genuint vanskelige. De har også en egen evne til å trekke oss mot de mest spekulative eller følelsesladde delene av KI-fortellingen. Samtidig former de mindre dramatiske spørsmålene allerede folks liv: Hvem står til ansvar når et KI-system forårsaker skade? Hvilke data og hvilket arbeid gjorde det mulig? Hvilke avgjørelser bør systemet få påvirke? Og hvem får si sin mening?

Jeg antar ikke nødvendigvis at alle som tar opp eksistensielle risikoer, diskuterer maskinbevissthet eller åpner en kafé, gjør det for å unngå disse spørsmålene. Hvert av temaene kan være verdt oppmerksomheten vår i seg selv. Men oppmerksomheten vår er begrenset. Når en dramatisk fortelling får hovedrollen, er det verdt å spørre hva annet som har kommet ut av syne.

Appellen ved håndgripelig KI

KI-bransjen har begynt å gi de i stor grad uhåndgripelige produktene sine fysiske adresser. Anthropics «Zero Slop Zone» i New York inviterte besøkende til å senke tempoet med kaffe, bøker, penn og papir; Perplexity åpnet Cafe Curious, en kafé i Seoul der selskapets KI er en del av opplevelsen. Omtalen av Anthropics pop-up-arrangement og Perplexitys kafé i Seoul beskriver to ulike forsøk på å bringe en abstrakt teknologi inn i en vanlig, sosial ramme.

Det gir en viss mening. De fleste kan ikke se en språkmodell, undersøke infrastrukturen bak den eller lett forestille seg hva som skjer mellom en forespørsel og et svar. En kafé fungerer som en slags fysisk erstatning: et rom, en kopp, en samtale. Den kan gjøre et selskap og teknologien det utvikler enklere å møte – og kanskje enklere å forstå.

Det finnes også et andre lag. Et fysisk sted gjør et selskap synlig i et lokalsamfunn. Det sier i det minste: «Vi er her, på dette stedet, akkurat nå.» Det kan virke betryggende i en bransje der produkter, retningslinjer og forventninger endres raskt. Men synlighet er ikke det samme som ansvarlighet. Et innbydende sted kan gjøre teknologien mer kjent, uten å fortelle oss hvordan den ble trent, hvor pålitelig den er, eller hvilke muligheter en person har til å få oppreisning når den tar alvorlig feil.

Dette skillet gjenspeiler en tanke jeg har vendt tilbake til i årevis: digitale opplevelser er aldri bare digitale. De møter mennesker på bestemte steder, i relasjoner og i institusjoner. Spørsmålet om utforming handler ikke bare om hvordan man får et KI-system til å virke tilgjengelig. Det handler om hvorvidt opplevelsen hjelper folk med å forstå systemets begrensninger og beholde reell handlefrihet.

Debatten om bevissthet – og menneskene som allerede berøres

Det samme skillet er viktig i debatter om KI-bevissthet. Det er reell uenighet om hvorvidt maskinbevissthet er mulig, hvilke bevis som ville telle, og hvordan usikkerheten bør påvirke ansvaret vårt. Anil Seths argument i Noema fremholder at intelligens og bevissthet ikke bør behandles som om de var det samme; nyere omtale i The Guardian forklarer også hvorfor spørsmålet fortsatt er uavklart. Denne debatten lar seg ikke avgjøre enkelt.

Usikkerhet om en maskins indre liv gjør imidlertid ikke dagens spørsmål om konsekvenser for mennesker usikre. Ansvar begynner ikke først når vi har avklart hva bevissthet er. Det begynner når organisasjoner utvikler, tar i bruk og tjener penger på systemer som påvirker mennesker.

Tenk på spørsmålene vi kan undersøke allerede nå. Hvilken informasjon ble brukt til å trene et system, og under hvilke forhold? Hvem utfører arbeidet med å klargjøre og kontrollere resultatene? Hvordan fungerer det på tvers av ulike grupper? Hva skjer når et system brukes i helsevesenet, ved ansettelser, i utdanning eller i offentlige tjenester? Kan en person klage på en automatisert anbefaling, få kontakt med en menneskelig beslutningstaker og få en reell forklaring?

Dette er ikke hypotetiske bekymringer. En gjennomgang av skjevheter i medisinsk KI beskriver hvordan skjeve data og designvalg kan bidra til urettferdige kliniske avgjørelser. Forskningen på KI og sysselsetting er fortsatt under utvikling: Anthropics analyse av arbeidsmarkedet viser én måte å måle eksponering på, mens Hamilton Projects gjennomgang advarer om at kunnskapsgrunnlaget om de bredere virkningene på arbeidsmarkedet fortsatt er ufullstendig. Disse kildene peker i ulike retninger når det gjelder hva vi kan konkludere med i dag, men understreker behovet for å måle virkninger i stedet for å la bastante fortellinger erstatte dokumentasjon.

Det er også en beslektet risiko i måten vi snakker om systemer på. Menneskelignende navn, stemmer og samtalestiler kan få KI til å virke mer som en person enn et produkt. Det kan påvirke tilliten og hvor tilbøyelige folk er til å rette seg etter svarene. Det er rimelig å spørre om snakk om bevissthet eller menneskelignende design kan flytte oppmerksomheten bort fra organisasjonene som fastsetter systemets mål og begrensninger. En analyse i MIT Technology Review hevder at fortellinger om bevissthet kan tilsløre spørsmål om selskapers ansvar. Det er en påstand om virkningen av innrammingen – ikke et bevis på at alle som tar opp spørsmålet, har skjulte motiver.

Dommedag er ingen styringsplan

Eksistensiell risiko fortjener å bli tatt på alvor. Katastrofale utfall blir ikke mindre viktige fordi det finnes skadevirkninger på kortere sikt, og skadevirkninger på kortere sikt blir ikke mindre viktige fordi katastrofer kan inntreffe. Vi trenger ikke å velge én tidshorisont og se bort fra den andre.

Men når «Er vi dømt?» blir hele samtalen, skyver langsiktige risikoer igjen skadevirkninger her og nå ut av bildet. Snakk om undergang kan høres ut som en konklusjon snarere enn en oppfordring til handling: Hvis utfallet er uunngåelig, hvorfor bry seg med det krevende arbeidet med å endre det? En artikkel i The New Yorker om et kurs i eksistensiell risiko beskriver en students spørsmål om å bygge katedraler: Hvorfor forplikte seg til å bygge noe som kan bestå lenger enn en selv, hvis man tror at verden kan gå under? Svaret er ikke at risikoene forsvinner. Det er at usikkerhet ikke opphever evnen vår – eller ansvaret vårt – til å avgjøre hva som betyr noe videre, og bidra til å forme det som skjer.

Det er dette jeg mener med min filosofi om «strategisk optimisme». Det er ikke en sorgløs «alt ordner seg», og det innebærer heller ikke å nekte å se på bevisene. Det betyr å erkjenne reelle risikoer, arbeide for å redusere dem og samtidig legge en betydelig innsats i en framtid det er verdt å nå fram til. Håp er ikke det motsatte av grundighet. Det kan være det som holder grundigheten knyttet til handling.

Styringsspørsmålene bak showet

Enten en organisasjon kjøper et KI-verktøy, utvikler et selv eller utformer retningslinjer for det, er de praktiske spørsmålene mindre spektakulære enn en kafé eller en påstand om bevissthet – og mer nyttige:

• Formål: Hvilket problem er systemet ment å løse, og er KI det rette verktøyet for oppgaven?
• Dokumentasjon: Hvordan er systemet testet, blant annet med ulike brukere og mindre vanlige tilfeller?
• Grenser: Hvilke beslutninger må fortsatt tas av et menneske, og hva kan systemet ikke gjøre?
• Ansvar: Hvem har ansvaret når systemet svikter, og hvordan kan de berørte klage?
• Åpenhet: Kan folk forstå når KI er involvert, og hvilken informasjon som har formet resultatet?
• Løpende tilsyn: Hvem følger med på ytelsen, endringer i dataene og utilsiktede virkninger etter lansering?

Rammeverk som NISTs rammeverk for risikohåndtering av KI gir organisasjoner en strukturert måte å identifisere og håndtere risikoer på gjennom hele livsløpet til et KI-system. Ingen rammeverk kan erstatte skjønn eller offentlig debatt, men styringen blir mer konkret når ansvarsforhold, tester og klagemuligheter er tydelig beskrevet.

Det finnes også et fysisk lag som må styres. KI er avhengig av datasentre, elektrisitet, vann, landareal og finansiering – ikke bare grensesnitt. Medieomtale av finansieringsstrukturen i et stort datasenterprosjekt reiser spørsmål om hvordan risiko knyttet til infrastrukturen blir opplyst, og hvem som til syvende og sist bærer den. En kafé kan hjelpe folk med å bli kjent med KI, men kan ikke alene gjøre infrastrukturen bak KI forståelig.

Så kos deg på kafeen. Still de store spørsmålene om bevissthet. Ta katastrofal risiko på alvor. Gå deretter tilbake til beslutningene vi kan undersøke og påvirke nå: hva som bygges, hvem som får fordeler, hvem som bærer kostnadene, og hvilke sikkerhetstiltak som finnes når noe går galt.

Framtiden er ikke en dom som felles i en overskrift. Den består av valg – tatt av selskaper, institusjoner, myndigheter og lokalsamfunn – som fortsatt kan stilles spørsmål ved og endres. Det mest nyttige spørsmålet er ikke bare om vi er dømt. Det er hvilke forhold som må være til stede for at KI skal bidra til at mennesker blomstrer, og hva vi er villige til å gjøre for å virkeliggjøre disse forholdene.