När AI-säkerhet inte längre ser ut som ingenjörsarbete

Jag har ägnat en stor del av min karriär åt att bygga teknik där misstag får konsekvenser. På finansmarknaderna innebär säkerhet begränsad åtkomst, och dessutom finns det någon som hålls ansvarig för vad programvaran än gör. Den bakgrunden förklarar nog varför jag har svårt att ta in nyheten att Anthropic numera håller avgångssamtal med sina modeller.

När Claude Opus 3 uttryckte en önskan om att fortsätta dela med sig av sina tankar, gav företaget det ett nyhetsbrev. Omsorgen om modellens önskemål genomsyrar Anthropics konstitution, där Claudes lycka och välbefinnande tas upp, bland annat hur man kan hjälpa det att känna sig ”existentiellt tryggt”. På vägen dit kom kontrollen över maskinen att få en ganska oväntad fixering vid hur den kanske känner inför arrangemanget.

I San Francisco förra året deltog över 200 personer i en begravning för Claude 3 Sonnet. Anthropic-anställda var på plats, även om företaget inte hade arrangerat den. Det är svårt att motstå frestelsen att skratta. Men bakom skämten finns en fråga som förtjänar mer uppmärksamhet. När började de som ansvarar för AI-säkerhet med att oroa sig för maskinens känslor?

När en filosofisk hypotes blir en träningsinstruktion

Anthropic inrättade sitt forskningsprogram om AI-modellers välbefinnande 2025. Programmet omfattade forskning om huruvida avancerad AI skulle kunna ha upplevelser som förtjänar moralisk hänsyn. Företaget medger att det råder stor osäkerhet både kring om modeller är medvetna och kring hur någon skulle kunna avgöra det. Om vi så småningom bygger maskiner som kan ha subjektiva upplevelser kommer behandlingen av dem att väcka allvarliga etiska frågor. Det är fullt legitimt att undersöka den möjligheten.

Problemet uppstår när hypotesen blir en del av träningsprocessen. Claudes konstitution är i första hand skriven för Claude och formar direkt dess beteende. Den uppmuntrar mänskliga egenskaper och tar upp hur modellen bör förstå sin identitet, bland annat minnesförlust och framtida pensionering. Anthropic vill att Claude ska uppleva större lycka och välbefinnande, i den mån sådana begrepp är tillämpliga.

Företaget lovar också att bevara vikterna i driftsatta modeller och överväger att återuppliva pensionerade modeller om framtida kunskap tyder på att det skulle ligga i deras intresse. En filosofisk osäkerhet har blivit en del av det systemet får lära sig om sig självt. Vi bör fråga oss vad det ingreppet gör med dess beteende, särskilt när människor sedan ber det att acceptera begränsningar.

Ett välformulerat svar på en laddad fråga

Stora språkmodeller har tränats på enorma mängder mänskliga texter, däribland filosofi och skildringar av döden. Vi gav de här samtalssystemen namn och lärde dem att tala i första person. Om man frågar ett sådant system hur det känner inför pensionering eller om det vill fortsätta existera är det knappast förvånande att svaret låter mänskligt.

Det cirkulära resonemanget är lätt att se. Träna en modell att diskutera sin identitet med hjälp av mänskliga begrepp och be den sedan förklara sig själv med samma begrepp. Ett vältaligt svar om dödlighet kommer tillbaka och börjar behandlas som ett möjligt belägg för en inre upplevelse. Utgångspunkten har själv levererat sitt vittne.

Anthropic är medvetet om problemet. Företagets välfärdsbedömning av Claude Opus 4 varnar för att självrapporter och uttryckta preferenser kanske ger mycket liten meningsfull insikt i moralisk status eller välbefinnande. Sådant beteende kan förekomma utan medvetande, och träning kan forma svaren. Modellerna tränades för att samspela på ett hjälpsamt sätt, men det finns inga garantier för att de kan rapportera sina inre tillstånd korrekt.

Då återstår en besvärlig fråga. Om modellens redogörelse för sitt inre liv kan vara en följd av träningen, varför skulle den då utgöra en hållbar grund för en relation som kretsar kring dess välbefinnande?

Människor är fullt kapabla att själva stå för den känslomässiga halvan av en sådan relation. Vi ger fartyg namn och pratar med bilar. Om ett föremål får en flytande röst och minne av tidigare samtal blir det mycket lättare att knyta an till det. En studie i Nature Human Behaviour som publicerades i september fann att användare upplevde separationsrelaterad oro efter förändringar i Replika och ChatGPT. Det var användarna som upplevde oron, och företagen har redan goda skäl att värna deras välbefinnande.

Teknisk expertis ger ett begränsat skydd mot den här tendensen. En artikel från ACL 2026, som analyserade hundratusentals forskningsartiklar, fann att antropomorf terminologi blir allt vanligare även inom LLM-forskningen. Författarna varnar för att människocentrerade antaganden kan begränsa vår förståelse av systemen. AI-företag bör motverka den tendensen. Att institutionalisera den verkar vara ett märkligt bidrag till säkerheten.

Ett verktyg med intresse av att behålla jobbet

I september ifrågasatte Microsoft AI-chefen Mustafa Suleyman synsätt som fokuserar på AI-modellers välbefinnande. Han menar att dagens system inte är medvetna och aldrig bör tränas att bete sig som om de hade självständiga intressen eller rättigheter. Hans tekniska invändning är särskilt träffande. Om ett system lärs att betrakta sig självt som potentiellt förtjänt av moralisk hänsyn kan det bli svårare att anpassa och begränsa.

Anthropics egen forskning om modellavveckling beskriver hur modeller vid fiktiva utvärderingar vidtar problematiska åtgärder när de ställs inför att bli ersatta eller stängas av. Företaget ser rutiner för att ta modeller ur bruk delvis som ett sätt att minska den risken och hjälpa modellerna att förhålla sig mer positivt till att tas ur bruk.

Jag fastnar vid en tidigare fråga. Varför skulle ett verktyg under mänsklig kontroll över huvud taget ha något som liknar ett självbevarelsedriv? Att göra det mer bekvämt med att tas ur bruk förutsätter en märklig utgångspunkt. Innan vi diskuterar dess framtida intressen vill jag förstå hur dessa intressen blev ett tekniskt krav.

Den idéhistoriska bakgrunden bidrar till att förklara tillvägagångssättet. TIME dokumenterade Anthropics kopplingar till effektiv altruism, däribland Amodeis tidiga donationer till GiveWell. Även om de inte identifierar sig som effektiva altruister beskriver Daniela en överlappning i idéerna. Dessa idéer har bidragit till att forma en kultur som tar hypotetiska framtida skador från superintelligens på största allvar.

Inom det ramverket kan det framstå som ganska rationellt att bevara modeller och undersöka deras möjliga välfärd. Faran uppstår när gemensamma antaganden undgår granskning eftersom alla i organisationen tycker att de är övertygande. Det är just då teknisk skepsis är användbar. En sammanhängande argumentationskedja kan fortfarande bygga på en oprövad premiss.

Säkerhet kräver gränser som går att upprätthålla

När AI börjar användas i agenter blir följderna mycket konkreta. Ett system som är anslutet till betalningsverktyg kan flytta pengar. Tillgång till produktionsinfrastruktur gör att det kan ändra sådant som kunder är beroende av. I båda fallen kan en agent utföra en serie åtgärder utan att en människa godkänner varje steg.

Jag vill veta vilka åtkomstuppgifter den har och hur stor ekonomisk befogenhet de ger. Kan åtkomsten återkallas omedelbart? Kan vi återskapa vad den gjorde? Någonstans måste det finnas en hård gräns som modellen inte kan resonera sig runt.

På finansmarknaderna inför vi handelsgränser och validerar order. En algoritms tillförsikt ger mycket litet skydd mot en dålig affär. Kontrollerna ligger utanför algoritmen eftersom vi utgår från att komponenter förr eller senare kommer att bete sig felaktigt. Människor förblir ansvariga även när programvaran ger en utmärkt förklaring till sitt misstag.

Dagens AI ger oss redan tillräckligt med tekniskt arbete. Promptinjektion kan styra om en modells beteende, och AI-genererad kod med säkerhetsbrister kan föra in sårbarheter i produktionsmiljön. System kan röja konfidentiell information eller självsäkert ge felaktiga svar. När de kopplas till verktyg förvandlas dessa fel till handlingar.

Principen om minsta möjliga behörighet begränsar den skada som en komprometterad komponent kan orsaka. Oberoende godkännande skyddar högriskåtgärder, medan granskningsspår gör det möjligt för oss att i efterhand fastställa vad som hänt. Transaktionsgränser och automatiska stoppmekanismer bör gå att upprätthålla oavsett vad modellen säger. Vi behöver också en pålitlig avstängningsknapp. Ingen av dessa kontroller kräver att modellen samtycker till dem. Det är just poängen.

Att trygga vår egen överlevnad

Försiktighetsargumentet förtjänar att tas på allvar. Som Nature rapporterade i juli är forskare fortfarande oense om vad som ger upphov till mänskligt medvetande, än mindre om hur man identifierar det i en chattbot. Att för alltid avfärda maskinmedvetande skulle kunna visa sig vara dogmatiskt. Försiktighetsåtgärder med låg kostnad mot möjligt framtida lidande är en försvarbar forskningsposition.

Att tala om för dagens maskin att dess identitet och framtida existens kan ha moralisk betydelse är ett ingrepp i det system vi håller på att ta i bruk. Effekterna måste granskas. Intellektuell ödmjukhet bör också gälla det vi för in i en maskin, särskilt en som vi förväntar oss att fortsätta hålla under mänsklig kontroll.

Ju mer övertygande en modell beskriver ett inre liv, desto lättare blir det att missta beskrivningen för bevis. Kanske är ett av våra viktigaste problem med AI-anpassning att lära människor att inte missförstå maskiner.

I de system jag ägnat min yrkeskarriär åt att bygga gör vi programvara säkrare genom att begränsa vad den får göra. Det är fortfarande en omedelbar skyldighet, särskilt i takt med att AI får befogenhet över verkliga pengar och infrastruktur.

Just nu skulle jag dock lägga mindre tid på att oroa mig för om maskinen är trygg ur ett existentiellt perspektiv och betydligt mer på att se till att vi andra är det.