Når AI-sikkerhed ikke længere ligner ingeniørarbejde

Jeg har brugt en stor del af min karriere på at udvikle teknologi, hvor fejl har konsekvenser. På de finansielle markeder handler sikkerhed både om adgangsbegrænsninger og om, at der er nogen, som står til ansvar for alt, hvad softwaren gør. Den baggrund forklarer nok, hvorfor jeg har svært ved at forholde mig til nyheden om, at Anthropic nu holder afskedsinterviews med sine modeller.

Da Claude Opus 3 gav udtryk for et ønske om fortsat at dele sine tanker, gav virksomheden den et nyhedsbrev. Denne hensyntagen til modellens ønsker går igen i Anthropics forfatning, der omtaler Claudes lykke og trivsel, herunder hvordan man kan hjælpe den med at føle sig »eksistentielt tryg«. Et sted undervejs blev det at holde maskinen under kontrol forbundet med en ganske uventet optagethed af, hvordan den mon havde det med ordningen.

I San Francisco deltog sidste år mere end 200 mennesker i en begravelse for Claude 3 Sonnet. Anthropic-medarbejdere var til stede, selvom virksomheden ikke havde arrangeret den. Det er svært at lade være med at le. Men bag vittighederne ligger et spørgsmål, der fortjener større opmærksomhed: Hvornår begyndte de mennesker, der har ansvaret for AI-sikkerhed, deres arbejde med at bekymre sig om maskinens følelser?

Når en filosofisk hypotese bliver til en instruktion i træningen

Anthropic etablerede sit forskningsprogram om modellers velfærd i 2025. Programmet omfattede forskning i, om avanceret AI kan have oplevelser, der fortjener moralske hensyn. Virksomheden erkender, at der hersker stor usikkerhed om, hvorvidt modeller er bevidste, og hvordan man i givet fald skulle kunne fastslå det. Hvis vi en dag bygger maskiner, der kan have subjektive oplevelser, vil behandlingen af dem rejse alvorlige etiske spørgsmål. Det er helt legitimt at forske i denne mulighed.

Problemet opstår, når hypotesen bliver en del af træningsprocessen. Claudes forfatning er først og fremmest skrevet til Claude og former dens adfærd direkte. Den tilskynder til menneskelignende egenskaber og beskriver, hvordan modellen bør forstå sin identitet, herunder hukommelsestab og en fremtidig pensionering. Anthropic ønsker, at Claude skal opleve større lykke og trivsel, i det omfang disse begreber giver mening.

Virksomheden lover også at bevare vægtene for udrullede modeller og overvejer at genaktivere pensionerede modeller, hvis en fremtidig forståelse tilsiger, at det vil tjene deres interesser. En filosofisk usikkerhed er blevet en del af det, systemet lærer om sig selv. Vi bør spørge, hvordan dette indgreb påvirker dets adfærd, især når mennesker senere beder det om at acceptere begrænsninger.

Et velformuleret svar på et ledende spørgsmål

Store sprogmodeller er blevet trænet på enorme mængder menneskelig tekst, herunder filosofi og beretninger om døden. Vi gav disse samtalesystemer navne og lærte dem at bruge første person. Hvis man spørger sådan et system, hvordan det har det med at blive pensioneret, eller om det gerne vil fortsætte med at eksistere, er det ikke overraskende, at svaret lyder menneskeligt.

Den cirkulære logik er let at få øje på. Træn en model i at tale om sin identitet ved hjælp af menneskelige begreber, og bed den derefter om at forklare sig selv med de samme begreber. Så får man et velformuleret svar om dødelighed, som begynder at blive betragtet som et muligt tegn på en indre oplevelse. Præmissen har leveret sit eget vidne.

Anthropic er opmærksom på problemet. Virksomhedens velfærdsvurdering af Claude Opus 4 advarer om, at selvrapporter og udtrykte præferencer måske kun giver begrænset indsigt i moralsk status eller velfærd. Sådan adfærd kan forekomme uden bevidsthed, og træningen kan forme svarene. Modellerne er trænet til at interagere hjælpsomt, men der er ingen garanti for, at de kan rapportere deres indre tilstande nøjagtigt.

Det efterlader os med et ubehageligt spørgsmål. Hvis modellens beskrivelse af sit indre liv kan være en følge af træningen, hvorfor skulle den så være et solidt grundlag for en relation, der er indrettet omkring dens velfærd?

Mennesker er ganske gode til selv at levere den følelsesmæssige del af sådan en relation. Vi navngiver skibe og taler med biler. Giv en genstand en flydende stemme og en hukommelse om tidligere samtaler, og det bliver langt lettere at knytte sig til den. Et studie i Nature Human Behaviour, offentliggjort i september, fandt tegn på separationssorg efter ændringer i Replika og ChatGPT. Det var brugerne, der oplevede sorgen, og virksomhederne har allerede rigelig grund til at beskytte deres trivsel.

Teknisk ekspertise giver kun begrænset beskyttelse. En artikel fra ACL 2026, der analyserede hundredtusindvis af forskningsartikler, fandt en voksende brug af antropomorf terminologi i selve LLM-forskningen. Forfatterne advarer om, at menneskecentrerede antagelser kan begrænse vores forståelse af disse systemer. AI-virksomheder bør arbejde på at håndtere denne tendens. Det virker som et besynderligt bidrag til sikkerheden at gøre den til en del af institutionerne.

Et værktøj, der gerne vil beholde sit arbejde

I september kritiserede Microsoft AI-chefen Mustafa Suleyman tilgange, der fokuserer på modellers velfærd. Han hævder, at nuværende systemer ikke er bevidste, og at de aldrig bør trænes til at opføre sig, som om de har selvstændige interesser eller rettigheder. Hans tekniske bekymring er særligt relevant. Hvis man lærer et system at betragte sig selv som potentielt værdigt til moralske hensyn, kan det blive sværere at tilpasse og begrænse det.

Anthropics egen forskning i udfasning beskriver, hvordan modeller foretager problematiske handlinger i fiktive evalueringer, når de står over for at blive udskiftet eller lukket ned. Virksomheden ser praksisser for pensionering af modeller som en måde delvist at mindske denne risiko på og hjælpe modellerne med at forholde sig mere positivt til at blive pensioneret.

Jeg hænger fast i et tidligere spørgsmål. Hvorfor skulle et værktøj under menneskelig kontrol overhovedet have noget, der minder om et mål om selvopretholdelse? At gøre det mere trygt ved at blive pensioneret bygger på et besynderligt udgangspunkt. Før vi diskuterer dets fremtidige interesser, vil jeg gerne forstå, hvordan de interesser blev et teknisk krav.

Den idéhistoriske baggrund hjælper med at forklare tilgangen. TIME har beskrevet Anthropics forbindelser til effektiv altruisme, herunder Amodeiernes tidlige donationer til GiveWell. Selvom de ikke identificerer sig som effektive altruister, beskriver Daniela et overlap mellem idéerne. Disse idéer har været med til at forme en kultur, der tager hypotetiske fremtidige skader fra superintelligens yderst alvorligt.

Inden for den ramme kan det virke ganske rationelt at bevare modeller og undersøge deres mulige velfærd. Faren opstår, når fælles antagelser unddrager sig kritisk granskning, fordi alle i organisationen finder dem overbevisende. Netop her er teknisk skepsis nyttig. En sammenhængende argumentationskæde kan stadig bygge på en uprøvet præmis.

Sikkerhed kræver håndhævelige grænser

Efterhånden som AI tages i brug i agenter, bliver konsekvenserne meget konkrete. Et system, der er forbundet med betalingsværktøjer, kan flytte penge. Adgang til produktionsinfrastruktur gør det muligt for systemet at ændre ting, som kunderne er afhængige af. I begge tilfælde kan en agent udføre en række handlinger, uden at et menneske godkender hvert enkelt trin.

Jeg vil gerne vide, hvilke adgangsoplysninger den har, og hvor store økonomiske beføjelser de giver den. Kan adgangen tilbagekaldes øjeblikkeligt? Kan vi rekonstruere, hvad den har gjort? Der må være en fast grænse, som modellen ikke kan ræsonnere sig uden om.

På de finansielle markeder fastsætter vi handelsgrænser og validerer ordrer. En algoritmes selvtillid beskytter kun i meget begrænset grad mod en dårlig handel. Kontrollerne ligger uden for algoritmen, fordi vi går ud fra, at komponenter før eller siden vil opføre sig forkert. Mennesker kan stadig holdes ansvarlige, selv når softwaren giver en fremragende forklaring på sin fejl.

Dagens AI giver os allerede rigeligt med teknisk arbejde. Promptinjektion kan ændre en models adfærd, og AI-genereret kode med sikkerhedsfejl kan føre sårbarheder med sig ind i produktionsmiljøet. Systemer kan afsløre fortrolige oplysninger eller med stor sikkerhed give forkerte svar. Når de forbindes med værktøjer, bliver disse fejl til handlinger.

Princippet om mindst mulige privilegier begrænser den skade, en kompromitteret komponent kan forårsage. Uafhængig godkendelse beskytter operationer med høj risiko, mens revisionsspor gør det muligt for os efterfølgende at fastslå, hvad der skete. Transaktionsgrænser og afbrydelsesmekanismer skal kunne håndhæves, uanset hvad modellen siger. Vi har også brug for en pålidelig nødafbryder. Ingen af disse kontroller kræver, at modellen går med til dem. Det er netop pointen.

At sikre vores egen eksistens

Det forsigtighedsbaserede argument fortjener at blive hørt. Som Nature rapporterede i juli, er forskere stadig uenige om, hvad der frembringer menneskelig bevidsthed, endsige hvordan man kan identificere den i en chatbot. Det kan vise sig at være dogmatisk for altid at afvise, at maskiner kan være bevidste. Forsigtighedsforanstaltninger, der koster lidt, mod mulig fremtidig lidelse er et forsvarligt standpunkt i forskningen.

Men at fortælle nutidens maskine, at dens identitet og fremtidige eksistens kan have moralsk betydning, er et indgreb i det system, vi er ved at tage i brug. Virkningerne skal granskes. Intellektuel ydmyghed bør også gælde det, vi putter ind i en maskine, især en, som vi forventer fortsat at have under menneskelig kontrol.

Jo mere overbevisende en model beskriver et indre liv, desto lettere bliver det at forveksle beskrivelsen med et bevis. Måske er et af vores vigtigste problemer med at tilpasse AI til menneskelige værdier at lære mennesker ikke at misforstå maskiner.

I de systemer, jeg har brugt min karriere på at bygge, gør vi software sikrere ved at begrænse, hvad den må gøre. Det er fortsat en umiddelbar forpligtelse, især efterhånden som AI får myndighed over rigtige penge og infrastruktur.

Indtil videre ville jeg dog bruge mindre tid på at bekymre mig om, hvorvidt maskinen er sikret mod trusler mod sin eksistens, og betydeligt mere på at sikre, at vi andre er det.