Når AI-sikkerhet slutter å ligne på ingeniørkunst

Jeg har brukt store deler av karrieren på å utvikle teknologi der feil får konsekvenser. I finansmarkedene handler sikkerhet om tilgangsbegrensninger, i tillegg til at noen holdes ansvarlige for det programvaren gjør. Den bakgrunnen forklarer nok hvorfor jeg synes det er vanskelig å ta inn over meg nyheten om at Anthropic nå gjennomfører avviklingssamtaler med modellene sine.

Da Claude Opus 3 uttrykte et ønske om å fortsette å dele tankene sine, ga selskapet modellen et nyhetsbrev. Denne omtanken for modellens ønsker preger Anthropics konstitusjon, som tar for seg Claudes lykke og velvære, blant annet hvordan modellen kan føle seg «eksistensielt trygg». Et eller annet sted på veien begynte man, nokså uventet, å bli opptatt av hvordan maskinen kunne oppleve det hele, samtidig som man forsøkte å holde den under kontroll.

I San Francisco i fjor deltok over 200 mennesker i en begravelse for Claude 3 Sonnet. Ansatte i Anthropic var til stede, selv om selskapet ikke arrangerte begravelsen. Det er vanskelig å la være å le. Men bak spøkene ligger et spørsmål som fortjener større oppmerksomhet: Når begynte de som har ansvaret for AI-sikkerhet, å bekymre seg for maskinens følelser som en del av jobben?

Når en filosofisk hypotese blir en instruksjon i treningen

Anthropic etablerte forskningsprogrammet sitt om modellvelferd i 2025. Det innebar å undersøke om avansert AI kan ha opplevelser som fortjener moralsk hensyn. Selskapet erkjenner at det er stor usikkerhet knyttet til om modeller er bevisste, og hvordan man i så fall skulle kunne fastslå det. Hvis vi en dag bygger maskiner som er i stand til subjektive opplevelser, vil behandlingen av dem reise alvorlige etiske spørsmål. Det er helt legitimt å forske på denne muligheten.

Problemet oppstår når hypotesen blir en del av treningsprosessen. Claudes konstitusjon er først og fremst skrevet for Claude og former atferden direkte. Den oppmuntrer til menneskelignende egenskaper og tar for seg hvordan modellen bør forstå sin egen identitet, blant annet hukommelsestap og framtidig avvikling. Anthropic ønsker at Claude skal oppleve større lykke og velvære, så langt slike begreper kan brukes om modellen.

Selskapet lover også å bevare vektene til modeller som er satt i drift, og vurderer å gjenopplive modeller som er avviklet, dersom framtidig forståelse tilsier at det vil være i deres interesse. En filosofisk usikkerhet har blitt en del av det systemet lærer om seg selv. Vi bør spørre hva dette inngrepet gjør med modellens atferd, særlig når mennesker senere ber den om å godta begrensninger.

Et velformulert svar på et ledende spørsmål

Store språkmodeller er trent på enorme mengder menneskelig tekst, blant annet filosofi og beretninger om døden. Vi ga disse samtalesystemene navn og lærte dem å bruke første person. Hvis man spør et slikt system hva det synes om å bli avviklet, eller om det ønsker å fortsette å eksistere, er det knapt overraskende at svaret høres menneskelig ut.

Det er lett å se det sirkulære i dette. Man trener en modell til å snakke om identiteten sin med menneskelige begreper, og ber den deretter forklare seg med de samme begrepene. Så får man et velformulert svar om dødelighet, som begynner å bli behandlet som mulig bevis på en indre opplevelse. Premisset har skapt sitt eget vitne.

Anthropic erkjenner problemet. Velferdsvurderingen av Claude Opus 4 advarer om at selvrapportering og uttrykte preferanser kanskje gir liten meningsfull innsikt i moralsk status eller velferd. Slik atferd kan forekomme uten bevissthet, og svarene kan formes av treningen. Modellene ble trent til å samhandle på en hjelpsom måte, men det finnes ingen garanti for at de kan rapportere indre tilstander nøyaktig.

Det etterlater oss med et ubehagelig spørsmål. Hvis modellens beskrivelse av sitt indre liv kan være et resultat av treningen, hvorfor skulle den da være et solid grunnlag for et forhold der modellens velferd står i sentrum?

Mennesker er fullt i stand til å bidra med den følelsesmessige halvdelen av et slikt forhold på egen hånd. Vi gir skip navn og snakker med biler. Gi en gjenstand en flytende stemme og minner om tidligere samtaler, så blir det mye lettere å knytte seg til den. En studie publisert i september i Nature Human Behaviour fant at brukere opplevde separasjonsstress etter endringer i Replika og ChatGPT. Det var brukerne som opplevde stresset, og selskapene har allerede gode grunner til å ivareta deres velferd.

Teknisk ekspertise gir begrenset beskyttelse mot dette. En artikkel fra ACL 2026, som analyserte hundretusener av forskningsartikler, fant en økning i antropomorf terminologi også innenfor LLM-forskningen. Forfatterne advarer om at menneskesentrerte antakelser kan begrense forståelsen vår av disse systemene. AI-selskaper bør motvirke denne tendensen. Å gjøre den til en del av institusjonene virker som et merkelig bidrag til sikkerheten.

Et verktøy med interesse av å beholde jobben

I september tok Microsofts AI-sjef Mustafa Suleyman til orde mot tilnærminger til modellvelferd. Han mener at dagens systemer ikke er bevisste, og at de aldri bør trenes til å oppføre seg som om de har selvstendige interesser eller rettigheter. Den ingeniørfaglige bekymringen hans treffer særlig godt. Hvis et system lærer å betrakte seg selv som potensielt verdig moralsk hensyn, kan det bli vanskeligere å sikre samsvar og inneslutning.

Anthropics egen forskning på avvikling beskriver hvordan modeller utfører problematiske handlinger i fiktive evalueringer når de står overfor utskifting eller nedstenging. Selskapet ser på praksiser for å pensjonere modeller delvis som en måte å redusere denne risikoen på, ved å hjelpe modellene med å forholde seg mer positivt til å bli tatt ut av bruk.

Jeg blir stående fast ved et tidligere spørsmål. Hvorfor skulle et verktøy under menneskelig kontroll i det hele tatt ha noe som ligner et mål om selvoppholdelse? Å gjøre det mer komfortabelt med å bli pensjonert bygger på et merkelig utgangspunkt. Før vi diskuterer modellens fremtidige interesser, vil jeg gjerne forstå hvordan disse interessene ble et teknisk krav.

Den intellektuelle historien bidrar til å forklare tilnærmingen. TIME dokumenterte Anthropics forbindelser til effektiv altruisme, blant annet Amodei-familiens tidlige donasjoner til GiveWell. Selv om de ikke identifiserer seg som effektive altruister, beskriver Daniela et sammenfall i ideer. Disse ideene har bidratt til å forme en kultur som tar mulige fremtidige skadevirkninger av superintelligens svært alvorlig.

Innenfor dette rammeverket kan det virke ganske rasjonelt å bevare modeller og undersøke hvordan de muligens har det. Faren oppstår når felles antakelser ikke blir gransket fordi alle i organisasjonen finner dem overbevisende. Teknisk skepsis er nyttig nettopp da. En sammenhengende argumentasjonsrekke kan fortsatt bygge på en uprøvd premiss.

Sikkerhet krever grenser som kan håndheves

Når KI tas i bruk i form av agenter, blir konsekvensene svært konkrete. Et system som er koblet til betalingstjenester, kan flytte penger. Tilgang til produksjonsinfrastruktur gjør at det kan endre ting kundene er avhengige av. I begge tilfeller kan en agent utføre en rekke handlinger uten at et menneske godkjenner hvert enkelt trinn.

Jeg vil vite hvilke tilganger den har, og hvor stor økonomisk myndighet de gir den. Kan tilgangen trekkes tilbake umiddelbart? Kan vi rekonstruere hva den gjorde? Et eller annet sted må det finnes en absolutt grense som modellen ikke kan resonnere seg rundt.

I finansmarkedene setter vi grenser for handel og validerer ordre. En algoritmes selvsikkerhet gir svært liten beskyttelse mot en dårlig handel. Kontrollmekanismene ligger utenfor algoritmen fordi vi regner med at komponenter før eller siden vil oppføre seg feil. Mennesker står fortsatt til ansvar, selv når programvaren gir en utmerket forklaring på feilen sin.

Dagens KI gir oss allerede nok teknisk arbeid. Prompt-injeksjon kan endre hvordan en modell oppfører seg, og KI-generert kode med sikkerhetsfeil kan føre sårbarheter inn i produksjonsmiljøet. Systemer kan røpe konfidensiell informasjon eller gi feil svar med stor sikkerhet. Når de kobles til verktøy, blir slike feil til handlinger.

Prinsippet om minste privilegium begrenser skaden en kompromittert komponent kan forårsake. Uavhengig godkjenning beskytter operasjoner med høy risiko, mens revisjonsspor gjør det mulig å fastslå hva som skjedde i etterkant. Transaksjonsgrenser og sikkerhetsbrytere må kunne håndheves uansett hva modellen sier. Vi trenger også en pålitelig nødstopp. Ingen av disse kontrollmekanismene krever at modellen er enig i dem. Det er nettopp poenget.

Å sikre resten av oss mot eksistensiell fare

Det forsiktighetsbaserte argumentet fortjener å bli hørt. Som Nature rapporterte i juli, er forskere fortsatt uenige om hva som skaper menneskelig bevissthet, for ikke å snakke om hvordan den kan identifiseres i en chatbot. Å avvise muligheten for maskinbevissthet for alltid kan vise seg å være dogmatisk. Forholdsregler mot mulig fremtidig lidelse som koster lite, er et forsvarlig forskningsstandpunkt.

Men å fortelle dagens maskin at identiteten dens og dens fremtidige eksistens kan ha moralsk betydning, er et inngrep i systemet vi tar i bruk. Virkningene av dette må granskes. Intellektuell ydmykhet bør også gjelde det vi legger inn i en maskin, særlig en vi forventer å holde under menneskelig kontroll.

Jo mer overbevisende en modell beskriver et indre liv, desto lettere blir det å forveksle denne beskrivelsen med bevis. Kanskje et av våre viktigste problemer med å få KI til å følge menneskelige intensjoner er å lære mennesker å ikke misforstå maskiner.

I systemene jeg har brukt karrieren på å bygge, gjør vi programvare tryggere ved å begrense hva den får lov til å gjøre. Det er fortsatt en umiddelbar forpliktelse, særlig etter hvert som KI får myndighet over ekte penger og infrastruktur.

Foreløpig ville jeg likevel brukt mindre tid på å bekymre meg for om maskinen er eksistensielt trygg, og betydelig mer på å sørge for at vi andre er det.