Interviews
Stavros Gadinis, hoogleraar aan Berkeley Law en auteur van Corporate Ordering – interviewreeks

Belangrijkste puntenBedrijfsmatige ordening beschrijft hoe bedrijven regels opstellen en zichzelf…
Meer weergeven
- Bedrijfsmatige ordening beschrijft hoe bedrijven regels opstellen en zichzelf controleren voordat toezichthouders ingrijpen.
- AI-veiligheidsevaluaties missen onafhankelijkheid wanneer het management zijn eigen externe beoordelaars aanneemt en kan ontslaan.
- Een veiligheidskader dat nooit een lancering heeft vertraagd, is niet te onderscheiden van public relations.
Stavros Gadinis is de George R. Johnson-hoogleraar in de rechten aan de Berkeley School of Law van UC Berkeley. In zijn onderzoek richt hij zich op corporate governance, financiële regelgeving en de interne systemen die bedrijven gebruiken om beslissingen te nemen en daarop toe te zien. Voordat hij de academische wereld inging, was hij werkzaam in de ondernemingsrechtpraktijk in Europa.
Zijn nieuwe boek, Corporate Ordering: hoe bedrijven omgaan met maatschappelijke conflicten, uitgegeven door Cambridge University Press, onderzoekt hoe bedrijven bestuurs- en governancesystemen ontwikkelen wanneer de publieke regels nog niet vastliggen. Aan de hand van casussen rond deelvervoer, klimaathoudbaarheid en kunstmatige intelligentie gaat het boek na hoe bedrijven regels opstellen, gezag uitoefenen en toezicht houden op hun eigen handelen.
Uw loopbaan omvat zowel ondernemingsrecht in de praktijk in Europa als onderzoek naar corporate governance en financiële regelgeving aan Berkeley Law. Hoe heeft die achtergrond uw denken gevormd, en wat inspireerde u om Corporate Ordering te schrijven?
Ik begon mijn loopbaan in de ondernemingsrechtpraktijk in Europa en bracht daarna vele jaren door aan Berkeley, waar ik corporate governance en financiële regelgeving bestudeerde, waaronder de manier waarop regels zich over landsgrenzen heen verspreiden wanneer geen enkele overheid de leiding heeft. We zien de zakenwereld en de wereld van regelgeving vaak als tegenpolen: de ene is gericht op snelle beslissingen en hoge winsten, de andere op bureaucratische procedures en het algemeen belang. Zowel mijn praktijkervaring als mijn onderzoek hebben me geleerd dat de scheidslijn veel vager is.
Het boek is voortgekomen uit gesprekken met general counsels en hogere leidinggevenden over de manier waarop zij omgaan met controversiële beslissingen, waarbij werknemers, klanten, gemeenschappen en overheden allemaal iets anders willen. Wat me opviel, is hoe sterk hun aanpak lijkt op die van een goede toezichthouder. Ze verzamelen informatie door contact te zoeken met de betrokkenen, leggen hun keuzes publiekelijk uit en bouwen mechanismen in om na te gaan of die keuzes standhouden. Dit zijn geen specifiek toezichthoudende of bedrijfsmatige gewoonten. Het zijn de beginselen van zorgvuldige besluitvorming in elke instelling die macht over anderen uitoefent. Met Corporate Ordering wil ik die werkwijze beschrijven, laten zien waar ze werkt en waar ze tekortschiet.
Wat is ‘corporate ordering’ en hoe helpt dit te verklaren hoe AI-bedrijven regels opstellen voor technologieën waarop de regelgeving nog niet is toegesneden?
Corporate ordering is de interne governance-infrastructuur die bedrijven opbouwen om beslissingen over kwesties waarover verschil van mening bestaat te nemen voordat de wet voorschrijft wat ze moeten doen. Deze infrastructuur heeft drie functies, die overeenkomen met de staatsmachten. Regelgeving opstellen is de manier waarop een bedrijf zijn eigen beginselen vastlegt. Uitvoerend optreden is de manier waarop het die toepast op concrete beslissingen. Toezicht houdt in dat het bedrijf nagaat of het die beginselen heeft toegepast en ontdekt wanneer dat niet is gebeurd.
Bij AI-bedrijven zijn alle drie de functies zichtbaar. De toonaangevende AI-labs stellen statuten, modelspecificaties en veiligheidskaders op; dat is regelgeving opstellen. Ze beslissen of een model klaar is voor lancering, wat het zal weigeren en wie toegang krijgt; dat is uitvoerend optreden. En ze laten red-teaming, externe evaluaties en incidentmeldingen uitvoeren; dat is toezicht. In het boek breng ik deze functies bij de belangrijkste labs in kaart. De verschillen zijn reëel, maar er is ook sprake van een opvallende convergentie: elk bedrijf ontdekt waarom het alle onderdelen nodig heeft.
Eén ding wil ik duidelijk stellen, omdat het vaak verkeerd wordt begrepen: corporate ordering is geen pleidooi tegen regelgeving. Het beschrijft het materiaal waarop regelgeving zal worden gebouwd. Wanneer wetgevers in actie komen, nemen ze begrippen over die bedrijven als eerste hebben ontwikkeld. De kernvraag is of dat eerste ontwerp zorgvuldig genoeg was om het over te nemen.
Uw boek onderzoekt deelvervoer, klimaathoudbaarheid en AI-governance. Welke lessen uit de eerste twee gebieden zijn het nuttigst voor AI, en voor welke fundamenteel andere uitdagingen stelt AI ons?
De les uit deelvervoer en klimaat is dat bedrijven vaak het eerste ontwerp van wetgeving maken. Uber en Lyft ontwikkelden praktijken voor verzekeringen en veiligheidsrapportage voordat staten daar regels voor hadden, en een groot deel van de CO2-boekhouding van bedrijven is gebaseerd op het GHG Protocol, een standaard waaraan het bedrijfsleven heeft meegewerkt. Toezichthouders keurden die praktijken vervolgens goed, vulden ze aan of legden ze vast in wetgeving. Regelgeving begint zelden met een schone lei. En hoe zorgvuldiger bedrijven hun keuzes maken en hoe meer ze rekening houden met de betrokken partijen, hoe groter de kans dat die keuzes in regelgeving overeind blijven.
AI verschilt op twee manieren. De eerste is snelheid. Toezichthouders lopen vaak achter op de industrie, maar bij AI is de kloof veel groter. Toezichthouders zullen bedrijven moeten inschakelen om normen en interne processen te ontwikkelen en hun eigen inspanningen moeten richten op toezicht, verificatie en handhaving. Dat maakt hun rol anders, niet kleiner. Verificatie is waar de publieke macht het belangrijkst is, omdat daar het belangenconflict met het management het grootst is. Het tweede verschil is het bereik. AI raakt vrijwel elk aspect van het dagelijks leven en is uitgegroeid tot een belangrijke investering voor het land als geheel. De gevolgen voor systeemrisico’s zijn even moeilijk te ontkennen als te doorgronden.
Als een AI-bedrijf zelf externe veiligheidsevaluatoren selecteert en betaalt, welke waarborgen zorgen er dan voor dat dat toezicht daadwerkelijk onafhankelijk is?
Dit belangenconflict is bekend uit financiële audits, en het ondernemingsrecht biedt al instrumenten om ermee om te gaan. Een eerste vraag is wie de beoordelaar aanstelt en ontslaat. De relatie met de beoordelaar moet onder de verantwoordelijkheid vallen van onafhankelijke bestuurders die geen andere financiële banden met het bedrijf hebben, net zoals de auditcommissie — en niet de CEO of CFO — toezicht houdt op de externe accountant. Het management mag een beoordelaar niet kunnen ontslaan omdat diens bevindingen ongelegen komen.
Een tweede punt is toegang tot informatie en de publicatie van bevindingen. De beoordelaar moet kunnen inzien wat die wil inzien en het recht hebben om de bevindingen te publiceren, of op zijn minst een betekenisvolle samenvatting ervan, zonder dat het bedrijf daar een veto over kan uitspreken. Het risico op reputatieschade geeft een beoordeling haar kracht. Een derde punt is het gebruik van gemeenschappelijke beoordelingsnormen, zodat een evaluatie bij verschillende bedrijven hetzelfde betekent en beoordelaars niet met elkaar kunnen concurreren door soepelere normen te hanteren. Een vierde punt is bescherming van klokkenluiders, en zelfs beloningen wanneer zij informatie aandragen waarop actie kan worden ondernomen, omdat mensen binnen het bedrijf vaak als eersten weten wanneer een evaluatie is gestuurd.
Stel dat een externe beoordelaar vlak voor de lancering van een belangrijk model een ernstig veiligheidsrisico vaststelt. Wie moet daarvan op de hoogte worden gebracht en wie moet bevoegd zijn om de uitrol uit te stellen of stop te zetten?
De bevinding moet rechtstreeks naar het bestuur gaan, idealiter naar een commissie van onafhankelijke bestuurders die verantwoordelijk is voor veiligheid, en niet alleen via het managementteam dat de lancering wil doorzetten. Het management kan en moet reageren, maar mag niet als filter fungeren. De bevoegdheid om de uitrol uit te stellen of stop te zetten, moet bij het bestuur liggen. Dit is precies het soort beslissing waarvoor besturen bestaan: een beslissing met grote belangen, tegenstrijdige belangen en geen vanzelfsprekend juist antwoord.
Belangrijker is echter dat de beslissing expliciet wordt genomen, wordt vastgelegd en herleidbaar is tot de mensen die haar hebben genomen. Als het bestuur ondanks het risico toch doorgaat, moet uit het dossier blijken wat het wist, welke afwegingen het maakte en waarom het het risico aanvaardbaar vond. Zo’n schriftelijk spoor schept de voorwaarden voor aansprakelijkheid of op zijn minst reputatieschade, en zet mensen aan het denken. Rechtbanken erkennen steeds vaker dat ontwerpkeuzes in software gevolgen hebben voor gebruikers, en een bedrijf dat kan aantonen dat het zich serieus en gedocumenteerd heeft ingespannen, staat er heel anders voor dan een bedrijf dat dat niet kan.
Hoe ziet een geloofwaardig besluitvormingsproces van het bestuur eruit wanneer veiligheidsrisico’s botsen met omzetdoelstellingen of concurrentiedruk?
Een geloofwaardig proces is gebaseerd op goede informatie en laat een dossier achter. Het bestuur moet concrete informatie krijgen over de kosten van uitstel, de aard en waarschijnlijkheid van het veiligheidsrisico en de mogelijkheden om dat risico te beperken. Het moet nagaan of de tests toereikend waren en, zo niet, meer tests laten uitvoeren of een externe beoordeling vragen. Als er nog wezenlijke onzekerheid bestaat, zijn er opties tussen lanceren en uit de handel nemen, zoals een beperkte release, een gefaseerde uitrol of een testomgeving, waarmee het bedrijf meer kan leren voordat het zich vastlegt. Wat het bestuur ook besluit, wat het bedrijf vervolgens publiekelijk zegt over de veiligheid van het model moet kloppen. Daar ligt een groot deel van het huidige procesrisico.
Vervolgens moet het bestuur vastleggen wat het heeft besloten en waarom. Na verloop van tijd vormen die verslagen een verzameling precedenten, zodat een volgende moeilijke beslissing wordt afgewogen tegen eerdere beslissingen en iedereen die het bedrijf beoordeelt, kan zien of de uitgesproken principes daadwerkelijk bindend zijn. Microsoft is begonnen met het opbouwen van zo’n beslissingsdossier, en ik vind dit een van de meest onderschatte instrumenten voor AI-governance. De concurrentiedruk is reëel en een bestuur kan redelijkerwijs besluiten door te gaan. Wat het niet mag doen, is de beslissing aan het toeval overlaten.
Uw werk stelt een ‘maatschappelijke businessjudgmentnorm’ voor om bestuursbesluiten te beoordelen. Hoe zou die norm van toepassing zijn op een AI-bedrijf dat een winstgevende productlancering uitstelt vanwege mogelijke schade voor het publiek?
Volgens het huidige ondernemingsrecht is een bestuur dat een winstgevende lancering uitstelt al goed beschermd. Rechtbanken laten bestuurders ruimte om hun zakelijke oordeel te volgen, en vandaag genoegen nemen met minder winst om morgen schade te voorkomen, past daar zonder meer binnen. De moeilijkere vraag is het omgekeerde: heeft het bestuur mogelijke schade voor het publiek überhaupt serieus genomen?
De maatschappelijke businessjudgmentnorm vraagt het bestuur mogelijke schade voor het publiek te beoordelen zoals het elk ander bedrijfsrisico beoordeelt: waar mogelijk aan de hand van concrete, meetbare en specifieke maatstaven. De nadruk ligt op het proces en de zorgvuldigheid, niet op de uitkomst. Een bestuur dat de juiste informatie verzamelt, luistert naar de mensen die gevolgen ondervinden en zijn afwegingen vastlegt, verdient de ruimte om zijn oordeel te volgen, of het de lancering nu uitstelt of doorzet. Een bestuur dat dit allemaal nalaat, verdient die ruimte niet. In het geval dat u beschrijft, is het uitstel zelf dus niet het punt. Het gaat erom of het bestuur kan laten zien hoe het tot dat besluit is gekomen en of het op basis van dezelfde feiten opnieuw hetzelfde besluit zou nemen.
AI-bedrijven publiceren veiligheidskaders en vrijwillige toezeggingen, maar lezers zien zelden hoe dat beleid doorwerkt in afzonderlijke besluiten. Welk bewijs maakt duidelijk dat er sprake is van effectief bestuur en niet van een publicrelationsstunt?
Wanneer bedrijven raamwerken publiceren, blijft het publiek zich vaak afvragen of die ooit worden toegepast op concrete beslissingen, of slechts retoriek blijven waar het bedrijf geen gevolg aan geeft. Het antwoord is een specifieke vorm van transparantie. In plaats van nog meer beginselverklaringen zouden bedrijven moeten rapporteren welke concrete keuzes ze hebben gemaakt en hoe het raamwerk die heeft beïnvloed: welke lanceringen zijn uitgesteld, welke mogelijkheden zijn achtergehouden, welke risicodrempels zijn overschreden en wat daarop is gevolgd.
Het meest veelzeggende bewijs is een beslissing die het bedrijf iets heeft gekost. Een raamwerk dat nooit tot een andere uitkomst heeft geleid, nooit een lancering heeft vertraagd en nooit is ingeroepen ten koste van de omzet, is moeilijk te onderscheiden van public relations. Deze informatie moet ook specifiek genoeg zijn om te kunnen worden gecontroleerd. Bij de meest ingrijpende kwesties zou een derde partij met voldoende gezag de informatie publiekelijk moeten verifiëren.
Waar liggen de grenzen van zelfregulering door bedrijven? Voor welke beslissingen over aanvaardbare AI-risico’s zijn publieke regels of democratisch toezicht nodig?
De belangrijkste beperking betreft tekortschietend toezicht. Zelfs een goedwillend en verantwoordelijk bedrijf kan in een ernstige crisis terechtkomen, en op zo’n moment nemen de belangenconflicten toe. Werknemers kunnen informatie achterhouden die hun baan of bonus in gevaar zou brengen. Bestuurders kunnen slecht nieuws onderdrukken om publieke kritiek te vermijden. Angst voor rechtszaken kan het bedrijf ervan weerhouden openheid van zaken te geven. Bij eerdere bedrijfscrises kwam cruciale informatie doorgaans van mensen op wie de leiding geen controle kon uitoefenen, externe accountants en beoordelaars, betrokken partijen of interne klokkenluiders die onafhankelijke meldkanalen gebruikten.
Hier zijn publieke regels het belangrijkst. Wetgeving kan in de fase waarin regels worden opgesteld relatief weinig toevoegen, omdat wetten hun belangrijkste begrippen doorgaans ontlenen aan bedrijven. Op het gebied van transparantie kan ze meer betekenen door ook bedrijven te bereiken die niet vrijwillig informatie openbaar maken. Het meest kan ze bijdragen aan verificatie, door onafhankelijke toetsing te verplichten, klokkenluiders te beschermen en externe controles daadwerkelijk bevoegdheden te geven.
De andere beperking is collectief van aard. Een bedrijf kan hooguit zichzelf tegenhouden. Het kan zijn concurrenten niet tegenhouden. Beslissingen over catastrofale risico’s, waaronder de vraag of de ontwikkeling van grensverleggende AI moet worden afgeremd, vereisen coördinatie tussen bedrijven en overheden, zowel nationaal als internationaal. Een model dat ik veelbelovend vind, is een internationale normsteller naar het voorbeeld van de ISSB voor duurzaamheidsrapportage: onafhankelijk van overheden, maar onder toezicht van trustees waar ook overheden deel van uitmaken. Ordening door bedrijven is noodzakelijk voor dit werk, omdat deze modellen worden beteugeld binnen de bedrijven die ze bouwen, maar bedrijven kunnen dit werk niet alleen dragen.
Als u vandaag de raad van bestuur van een snelgroeiend AI-bedrijf zou adviseren, welke drie veranderingen in het bestuur en toezicht zou u dan prioriteit geven, en naar welk bewijs zou u een jaar later zoeken om te bepalen of ze effect hebben gehad?
Ten eerste: overleg bij het opstellen van regels. Voordat het bedrijf zijn veiligheidsraamwerk of gebruiksbeleid vaststelt of herziet, moet het de betrokkenen raadplegen (gebruikers, het maatschappelijk middenveld en deskundigen op het betreffende vakgebied) en publiceren wat het heeft gehoord en hoe het daarop heeft gereageerd. Ten tweede: regelmatige verantwoording, in de vorm van een jaarlijks verslag van de moeilijke beslissingen die het bestuur en de directie binnen het raamwerk hebben genomen, met voldoende details om die te kunnen controleren. Ten derde: een externe toezichthouder, aangesteld door en rapporterend aan onafhankelijke bestuurders, met volledige toegang en het recht om bevindingen te publiceren.
Een jaar later zou ik zoeken naar bewijs dat elk van deze maatregelen daadwerkelijk effect heeft gehad. Voor het overleg: minstens één regel die is veranderd naar aanleiding van wat het bedrijf heeft gehoord. Voor de verantwoording: openbaar gemaakte beslissingen die het bedrijf liever niet had besproken, waaronder beslissingen die het omzet of tijd hebben gekost. Voor de toezichthouder: bevindingen die het bedrijf liever niet had gekregen, en een verslag van wat het bestuur ermee heeft gedaan. Als na een jaar alles wat wordt gerapporteerd goed nieuws is, hebben de veranderingen niet gewerkt.
Hartelijk dank voor het fijne interview. Lezers die meer willen weten over het boek en de mogelijkheden om het te kopen, kunnen terecht op de officiële website voor ordening door bedrijven.












