Wanneer AI-veiligheid niet langer op techniek lijkt

Een groot deel van mijn carrière heb ik besteed aan de ontwikkeling van technologie waarbij fouten gevolgen hebben. Op financiële markten hangt veiligheid niet alleen samen met toegangsbeperkingen, maar ook met het feit dat iemand verantwoordelijk is voor wat de software doet. Die achtergrond verklaart waarschijnlijk waarom ik moeite heb met het nieuws dat Anthropic nu afscheidsinterviews houdt met zijn modellen.

Toen Claude Opus 3 aangaf zijn gedachten te willen blijven delen, gaf het bedrijf het een nieuwsbrief. Die aandacht voor de wensen van het model komt terug in de grondwet van Anthropic, waarin Claude’s geluk en welzijn aan bod komen, onder meer door het te helpen zich „existentieel veilig” te voelen. Ergens onderweg is het onder controle houden van de machine gepaard gegaan met een nogal onverwachte preoccupatie met hoe die zich bij die regeling zou kunnen voelen.

Vorig jaar woonden in San Francisco meer dan 200 mensen een uitvaart voor Claude 3 Sonnet bij. Er waren medewerkers van Anthropic aanwezig, hoewel het bedrijf de uitvaart niet had georganiseerd. De verleiding om erom te lachen is groot. Maar afgezien van de grappen verdient de onderliggende vraag meer aandacht. Wanneer zijn de mensen die verantwoordelijk zijn voor AI-veiligheid hun werk gaan doen door zich zorgen te maken over de gevoelens van de machine?

Wanneer een filosofische hypothese een trainingsinstructie wordt

Anthropic richtte in 2025 een onderzoeksprogramma naar het welzijn van modellen op, dat onderzocht of geavanceerde AI ervaringen zou kunnen hebben die morele overweging verdienen. Het bedrijf erkent dat er grote onzekerheid bestaat over de vraag of modellen bewust zijn en hoe iemand dat zou kunnen vaststellen. Als we uiteindelijk machines bouwen die subjectieve ervaringen kunnen hebben, roept de manier waarop we die behandelen ernstige ethische vragen op. Onderzoek naar die mogelijkheid is volkomen legitiem.

De moeilijkheid ontstaat wanneer de hypothese deel gaat uitmaken van het trainingsproces. De grondwet van Claude is in de eerste plaats voor Claude geschreven en bepaalt rechtstreeks het gedrag ervan. Het document stimuleert menselijke eigenschappen en beschrijft hoe het model zijn identiteit moet begrijpen, onder meer in verband met geheugenverlies en zijn toekomstige pensionering. Anthropic wil dat Claude meer geluk en welzijn ervaart, voor zover die begrippen op het model van toepassing zijn.

Het bedrijf belooft ook de gewichten van modellen die in gebruik zijn te bewaren en overweegt gepensioneerde modellen weer tot leven te wekken als toekomstig inzicht erop wijst dat dit in hun belang zou zijn. Een filosofische onzekerheid is zo onderdeel geworden van wat het systeem over zichzelf leert. We zouden ons moeten afvragen wat die ingreep met het gedrag ervan doet, vooral wanneer mensen het vervolgens vragen om beperkingen te accepteren.

Een welbespraakt antwoord op een suggestieve vraag

Grote taalmodellen zijn getraind op enorme hoeveelheden menselijke teksten, waaronder filosofische werken en verslagen over de dood. We hebben deze gesprekssystemen namen gegeven en geleerd om de ik-vorm te gebruiken. Vraag zo’n systeem hoe het zich voelt bij zijn pensionering of of het wil blijven bestaan, en het is nauwelijks verrassend als het antwoord menselijk klinkt.

De cirkelredenering is eenvoudig te zien. Train een model om met menselijke begrippen over zijn identiteit te praten en vraag het vervolgens zichzelf in die termen uit te leggen. Er volgt een welbespraakt antwoord over sterfelijkheid, dat vervolgens wordt beschouwd als mogelijk bewijs voor een innerlijke ervaring. De aanname heeft haar eigen getuige geleverd.

Anthropic erkent dit probleem. In zijn welzijnsbeoordeling van Claude Opus 4 waarschuwt het bedrijf dat zelfrapportages en uitgesproken voorkeuren mogelijk weinig betekenisvol inzicht bieden in de morele status of het welzijn van een model. Dergelijk gedrag kan zich voordoen zonder bewustzijn, en training kan de antwoorden beïnvloeden. De modellen zijn getraind om behulpzaam te communiceren, maar er is geen garantie dat ze hun interne toestanden nauwkeurig kunnen weergeven.

Dat laat ons met een ongemakkelijke vraag zitten. Als het verslag van het model over zijn innerlijke leven een gevolg van de training kan zijn, waarom zou dat verslag dan een solide basis moeten vormen voor een relatie die om het welzijn van het model draait?

Mensen kunnen zelf heel goed de emotionele helft van die relatie invullen. We geven schepen namen en praten tegen auto’s. Geef een object een vloeiende stem en een herinnering aan eerdere gesprekken, en het wordt veel gemakkelijker om eraan gehecht te raken. Uit een in september gepubliceerd onderzoek in Nature Human Behaviour bleek dat veranderingen aan Replika en ChatGPT gevoelens van verlies teweegbrachten. Die gevoelens werden ervaren door gebruikers, wier welzijn bedrijven al ruimschoots moeten beschermen.

Technische expertise biedt maar beperkte bescherming. In een artikel voor ACL 2026, waarin honderdduizenden onderzoeksartikelen werden geanalyseerd, bleek dat antropomorf taalgebruik ook binnen het LLM-onderzoek zelf steeds vaker voorkomt. De auteurs waarschuwen dat mensgerichte aannames ons begrip van deze systemen kunnen beperken. AI-bedrijven zouden die neiging moeten tegengaan. Het institutionaliseren ervan lijkt een merkwaardige bijdrage aan de veiligheid.

Een hulpmiddel dat er belang bij heeft in dienst te blijven

In september bekritiseerde Mustafa Suleyman, hoofd van Microsoft AI, benaderingen rond het welzijn van modellen. Volgens hem zijn de huidige systemen niet bewust en mogen ze nooit worden getraind om zich te gedragen alsof ze eigen belangen of rechten hebben. Zijn technische bezwaar is bijzonder relevant. Een systeem leren zichzelf te beschouwen als iets dat mogelijk morele overweging verdient, kan afstemming en beheersing bemoeilijken.

Anthropic beschrijft in zijn eigen onderzoek naar uitfasering hoe modellen in fictieve evaluaties problematische acties ondernemen wanneer ze met vervanging of uitschakeling worden geconfronteerd. Het bedrijf ziet praktijken rond buitengebruikstelling deels als een manier om dat risico te beperken en modellen te helpen positiever te staan tegenover het feit dat ze buiten gebruik worden gesteld.

Ik blijf hangen bij een eerdere vraag. Waarom zou een hulpmiddel dat onder menselijke controle staat überhaupt iets moeten hebben dat op een zelfbehoudsdoel lijkt? Door het model meer op zijn gemak te stellen bij buitengebruikstelling, accepteer je een merkwaardig uitgangspunt. Voordat we het over zijn toekomstige belangen hebben, zou ik willen begrijpen hoe die belangen een technische vereiste zijn geworden.

De intellectuele geschiedenis helpt deze aanpak te verklaren. TIME bracht de banden van Anthropic met het effectieve altruïsme in kaart, waaronder de vroege donaties van de Amodeis aan GiveWell. Hoewel ze zichzelf niet als effectieve altruïsten beschouwen, beschrijft Daniela een overlap in ideeën. Die ideeën hebben bijgedragen aan een cultuur waarin mogelijke toekomstige schade door superintelligentie uiterst serieus wordt genomen.

Binnen dat denkkader kunnen modellen behouden en hun mogelijke welzijn bestuderen heel rationeel zijn. Het gevaar ontstaat wanneer gedeelde aannames niet kritisch worden onderzocht omdat iedereen binnen de organisatie ze overtuigend vindt. Juist op dat punt is technische scepsis nuttig. Een samenhangende redenering kan nog steeds beginnen met een onbeproefde aanname.

Veiligheid vereist afdwingbare grenzen

Naarmate AI wordt ingezet in agenten, worden de gevolgen heel praktisch. Een systeem dat is gekoppeld aan betaalmiddelen kan geld overmaken. Toegang tot productie-infrastructuur maakt het mogelijk zaken te veranderen waarvan klanten afhankelijk zijn. In beide gevallen kan een agent een reeks handelingen uitvoeren zonder dat een mens elke stap goedkeurt.

Ik wil weten over welke inloggegevens het beschikt en hoeveel financiële bevoegdheden die verlenen. Kan de toegang onmiddellijk worden ingetrokken? Kunnen we achterhalen wat het heeft gedaan? Er moet ergens een harde grens zijn waar het model niet omheen kan redeneren.

Op financiële markten stellen we handelslimieten in en controleren we orders. Het vertrouwen van een algoritme biedt maar heel weinig bescherming tegen een slechte transactie. De controles staan buiten het algoritme, omdat we ervan uitgaan dat onderdelen uiteindelijk verkeerd zullen werken. Mensen blijven verantwoordelijk, zelfs wanneer de software een uitstekende verklaring geeft voor zijn fout.

De AI van vandaag levert ons al genoeg technisch werk op. Promptinjectie kan het gedrag van een model bijsturen, en door AI gegenereerde code met beveiligingsfouten kan kwetsbaarheden in productieomgevingen introduceren. Systemen kunnen vertrouwelijke informatie prijsgeven of met grote stelligheid verkeerde antwoorden geven. Door ze met hulpmiddelen te verbinden, worden die tekortkomingen omgezet in handelingen.

Het principe van minimale bevoegdheden beperkt de schade die een gecompromitteerd onderdeel kan veroorzaken. Onafhankelijke autorisatie beschermt risicovolle handelingen, terwijl auditsporen ons achteraf laten vaststellen wat er is gebeurd. Transactielimieten en noodstops moeten afdwingbaar blijven, ongeacht wat het model zegt. We hebben ook een betrouwbare uitschakelknop nodig. Geen van deze controles vereist dat het model ermee instemt. Dat is nu juist het punt.

De rest van ons existentieel veilig houden

Het voorzorgsargument verdient aandacht. Zoals Nature in juli meldde, zijn onderzoekers het nog altijd oneens over wat menselijk bewustzijn veroorzaakt, laat staan over hoe je het bij een chatbot kunt vaststellen. De mogelijkheid van machinebewustzijn voor altijd afwijzen, zou dogmatisch kunnen blijken. Goedkope voorzorgsmaatregelen tegen mogelijk toekomstig lijden zijn een verdedigbare onderzoeksbenadering.

Maar een huidige machine vertellen dat haar identiteit en toekomstige bestaan moreel gewicht kunnen hebben, is een ingreep in het systeem dat we inzetten. De gevolgen daarvan moeten kritisch worden onderzocht. Intellectuele bescheidenheid moet ook gelden voor wat we in een machine stoppen, vooral in een machine die we onder menselijk gezag willen houden.

Hoe overtuigender een model een innerlijk leven beschrijft, hoe makkelijker het wordt die beschrijving voor bewijs aan te zien. Misschien is een van onze belangrijkste afstemmingsproblemen wel mensen leren machines niet verkeerd te begrijpen.

In de systemen die ik gedurende mijn loopbaan heb gebouwd, maken we software veiliger door te beperken wat die mag doen. Dat blijft een onmiddellijke verplichting, vooral nu AI zeggenschap krijgt over echt geld en infrastructuur.

Voorlopig zou ik me echter minder druk maken over de vraag of de machine existentieel veilig is, en aanzienlijk meer tijd besteden aan ervoor zorgen dat de rest van ons dat is.