Intervjuer

Stavros Gadinis, professor ved Berkeley Law og forfatter av Corporate Ordering – intervjuserie

Antoine Tardif
Legg til Unite.AI blant dine foretrukne kilder på Google
Stavros Gadinis, George R. Johnson Professor of Law at UC Berkeley School of Law
Viktige punkterBedriftsstyring beskriver hvordan firmaer skriver regler og overvåker seg selv før…
Vis mer
  • Bedriftsstyring beskriver hvordan firmaer skriver regler og overvåker seg selv før regulatorer griper inn.
  • KI-sikkerhetsevalueringer mangler uavhengighet når ledelsen ansetter og kan si opp sine egne eksterne granskere.
  • Et sikkerhetsrammeverk som aldri har forsinket en lansering, er ikke til å skille fra PR.

Stavros Gadinis er George R. Johnson-professor i jus ved UC Berkeley School of Law. Forskningen hans undersøker selskapsstyring, finansregulering og de interne systemene selskaper bruker til å fatte og følge opp beslutninger. Før han begynte i akademia, arbeidet han med selskapsrett i Europa.

Hans nye bok, Selskapers styringsorden: Hvordan selskaper navigerer i sosiale konflikter, utgitt av Cambridge University Press, undersøker hvordan virksomheter utvikler styringssystemer når offentlige regler ennå ikke er avklart. Med utgangspunkt i saker om appbasert persontransport, klimabærekraft og kunstig intelligens ser den på hvordan selskaper utformer regler, utøver myndighet og fører tilsyn med sin egen virksomhet.

Karrieren din omfatter både arbeid med selskapsrett i Europa og forskning på selskapsstyring og finansregulering ved Berkeley Law. Hvordan har denne bakgrunnen formet tankegangen din, og hva inspirerte deg til å skrive Corporate Ordering?

Jeg begynte karrieren med å arbeide med selskapsrett i Europa, og tilbrakte deretter mange år ved Berkeley med å studere selskapsstyring og finansregulering, blant annet hvordan regler spres på tvers av landegrenser når ingen enkelt regjering har ansvaret. Vi har en tendens til å se på næringslivet og reguleringsverdenen som motsetninger: Den ene vil gjerne fatte raske beslutninger og oppnå stor fortjeneste, mens den andre er opptatt av byråkratiske prosesser og samfunnets beste. Både praksis og forskning har lært meg at skillet er langt mer uklart enn som så.

Boken sprang ut av samtaler med juridiske direktører og toppledere om hvordan de håndterer kontroversielle beslutninger – beslutninger der ansatte, kunder, lokalsamfunn og myndigheter ønsker ulike ting. Det som slo meg, var hvor mye metodene deres ligner på metodene til en god regulator. De innhenter informasjon ved å ta kontakt med dem som blir berørt, forklarer valgene sine offentlig og etablerer mekanismer for å kontrollere om valgene står seg. Dette er verken særskilt regulatoriske eller særskilt bedriftsmessige vaner. Det er prinsipper for gode beslutninger i enhver institusjon som utøver makt over andre. Corporate Ordering er mitt forsøk på å beskrive dette maskineriet, vise hvor det fungerer, og vise hvor det svikter.

Hva er «selskapers styringsorden», og hvordan bidrar begrepet til å forklare hvordan AI-selskaper fastsetter regler for teknologier som reguleringen ennå ikke har kommet à jour med?

Selskapers styringsorden er den interne styringsinfrastrukturen selskaper bygger for å fatte omstridte beslutninger før loven forteller dem hva de skal gjøre. Den har tre funksjoner som gjenspeiler statsmaktens grener. Regelutforming er måten et selskap formulerer sine egne prinsipper på. Utøvende handling er måten selskapet anvender dem på i konkrete beslutninger. Oppfølging handler om å kontrollere om selskapet har fulgt opp, og om å finne ut når det ikke har gjort det.

AI-selskaper viser alle tre funksjonene i praksis. De ledende AI-laboratoriene utarbeider konstitusjoner, modellspesifikasjoner og sikkerhetsrammeverk – dette er regelutforming. De avgjør om en modell er klar til lansering, hva den skal avvise, og hvem som skal få tilgang – dette er utøvende handling. Og de bestiller red-team-tester, eksterne evalueringer og rapportering av hendelser – dette er oppfølging. I boken kartlegger jeg disse funksjonene ved de største laboratoriene. Forskjellene er reelle, men det er også en påfallende konvergens: Hvert selskap oppdager hvorfor det trenger alle delene.

Jeg vil gjøre én ting klart, fordi den ofte blir misforstått: Selskapers styringsorden er ikke et argument mot regulering. Den beskriver materialet reguleringen skal bygges på. Når lovgiverne handler, låner de begreper selskapene har utviklet først. Det egentlige spørsmålet er om dette første utkastet ble utformet grundig nok til å fortjene å bli lånt.

Boken din undersøker appbasert persontransport, klimabærekraft og styring av AI. Hvilke lærdommer fra de to første områdene er mest nyttige for AI, og på hvilke områder byr AI på grunnleggende annerledes utfordringer?

Lærdommen fra appbasert persontransport og klima er at selskaper svært ofte skriver det første utkastet til loven. Uber og Lyft utviklet praksis for forsikring og sikkerhetsrapportering før delstatene hadde regler for dette, og mye av bedriftenes karbonregnskap bygger på GHG Protocol, en standard næringslivet bidro til å utvikle. Regulatorene godtok deretter denne praksisen, supplerte den eller lovfestet den. Regulering begynner sjelden med blanke ark. Jo mer gjennomtenkt selskapene er i valgene sine, og jo mer de tar hensyn til berørte parter, desto mer sannsynlig er det at valgene blir stående i reguleringen.

AI skiller seg ut på to måter. Den første er tempoet. Regulatorene ligger ofte ett skritt bak næringslivet, men innen AI er avstanden langt større. Regulatorene må støtte seg på selskapene når standarder og interne prosesser skal utvikles, og konsentrere sin egen innsats om tilsyn, verifisering og håndheving. Det gjør rollen deres annerledes, ikke mindre viktig. Verifisering er der offentlig myndighet betyr mest, fordi interessekonflikten med ledelsen er sterkest der. Den andre forskjellen er rekkevidden. AI berører nesten alle deler av hverdagen, og har blitt en betydelig investering for nasjonen som helhet. Konsekvensene for systemrisiko er like umulige å overse som de er vanskelige å fatte.

Når et AI-selskap velger og betaler sine egne eksterne sikkerhetsevaluatorer, hvilke sikkerhetstiltak gjør tilsynet reelt uavhengig?

Denne interessekonflikten er velkjent fra finansiell revisjon, og selskapsretten har allerede virkemidler for å håndtere den. Det første spørsmålet er hvem som ansetter og avskjediger. Ansvaret for forholdet til den som foretar evalueringen, bør ligge hos uavhengige styremedlemmer uten andre økonomiske forbindelser til selskapet, på samme måte som revisjonsutvalget – ikke administrerende direktør eller finansdirektør – fører tilsyn med den eksterne revisoren. Ledelsen bør ikke kunne avskjedige en gransker fordi funnene er ubeleilige.

Det andre handler om tilgang og publisering. Den som foretar evalueringen, må få innsyn i det vedkommende ber om å se, og ha rett til å publisere funnene sine, eller i det minste et meningsfullt sammendrag, uten at selskapet kan nedlegge veto. Omdømmerisikoen er det som gir en gjennomgang tyngde. Det tredje er felles standarder for gjennomgang, slik at en evaluering betyr det samme på tvers av selskaper, og de som utfører evalueringene, ikke kan konkurrere ved å være ettergivende. Det fjerde er vern av varslere, og til og med belønning når de kommer med informasjon som kan følges opp, fordi folk på innsiden av selskapet ofte er de første som får vite når en evaluering er blitt styrt.

La oss si at en ekstern evaluator avdekker en alvorlig sikkerhetsbekymring rett før en stor modellansering. Hvem bør motta funnet, og hvem bør ha myndighet til å utsette eller stanse utrullingen?

Funnet bør gå direkte til styret, helst til et utvalg av uavhengige styremedlemmer med ansvar for sikkerhet, og ikke bare via ledergruppen som presser på for lansering. Ledelsen kan og bør svare, men den bør ikke fungere som filter. Myndigheten til å utsette eller stanse utrullingen bør ligge hos styret, fordi dette er nettopp den typen beslutning styrer skal ta – en beslutning med store konsekvenser, motstridende interesser og ikke noe åpenbart riktig svar.

Men det viktigste er at beslutningen må være uttrykkelig og dokumentert, og kunne spores tilbake til personene som tok den. Hvis styret går videre til tross for bekymringen, bør dokumentasjonen vise hva det visste, hva det vurderte, og hvorfor det mente at risikoen var akseptabel. Et slikt dokumentasjonsspor legger grunnlaget for erstatningsansvar eller i det minste omdømmeskade, og får folk til å tenke seg om to ganger. Domstolene er i økende grad villige til å anerkjenne at designvalg i programvare får konsekvenser for brukerne, og et selskap som kan vise til en grundig, dokumentert innsats, står i en helt annen stilling enn et selskap som ikke kan det.

Hvordan bør en troverdig beslutningsprosess i styret se ut når sikkerhetsbekymringer kommer i konflikt med inntektsmål eller konkurransepress?

En troverdig prosess bygger på et godt informasjonsgrunnlag og etterlater dokumentasjon. Styret bør få konkrete opplysninger om kostnadene ved en utsettelse, sikkerhetsbekymringens art og sannsynlighet, og mulighetene for å redusere risikoen. Det bør spørre om testingen var tilstrekkelig, og hvis den ikke var det, bestille mer testing eller be om en ekstern gjennomgang. Når det fortsatt er reell usikkerhet, finnes det alternativer mellom lansering og skrinlegging, som en begrenset lansering, en trinnvis utrulling eller et testmiljø, som lar selskapet lære mer før det forplikter seg. Uansett hva styret beslutter, må det selskapet deretter sier offentlig om modellens sikkerhet, være korrekt. Det er her mye av den nåværende søksmålsrisikoen ligger.

Deretter bør styret skrive ned hva det besluttet, og hvorfor. Over tid blir disse dokumentene en samling presedens, slik at den neste vanskelige avgjørelsen kan måles opp mot den forrige, og alle som gransker selskapet, kan se om prinsippene det hevder å følge, faktisk er bindende. Microsoft har begynt å bygge opp denne typen beslutningsdokumentasjon, og jeg mener det er et av de mest undervurderte verktøyene innen KI-styring. Konkurransepresset er reelt, og et styre kan med god grunn beslutte å gå videre. Det det ikke kan gjøre, er å la beslutningen bli tatt uten et aktivt valg.

Arbeidet ditt foreslår en standard for «samfunnsmessig forretningsskjønn» for å vurdere styrebeslutninger. Hvordan ville den gjelde for et KI-selskap som utsetter en lønnsom produktlansering på grunn av mulig skade på allmennheten?

Etter gjeldende selskapsrett er et styre som utsetter en lønnsom lansering, allerede godt beskyttet. Domstolene viser tilbakeholdenhet overfor styrets forretningsmessige skjønn, og det ligger godt innenfor dette å godta lavere fortjeneste i dag for å unngå skade i morgen. Det vanskeligere spørsmålet går motsatt vei: om styret i det hele tatt tok mulig skade på allmennheten på alvor.

Prinsippet om samfunnsmessig forretningsskjønn innebærer at styret vurderer mulig skade på allmennheten på samme måte som andre forretningsrisikoer, med konkrete, målbare og spesifikke kriterier der det er mulig. Hovedvekten ligger på prosessen og aktsomhetsvurderingen, ikke på utfallet. Et styre som innhenter riktig informasjon, lytter til dem som berøres, og dokumenterer begrunnelsen sin, har gjort seg fortjent til domstolenes tilbakeholdenhet – enten det utsetter lanseringen eller går videre med den. Et styre som ikke gjør noe av dette, har ikke det. I tilfellet du beskriver er det altså ikke selve utsettelsen som er problemet. Spørsmålet er om styret kan vise hvordan det kom fram til beslutningen, og om det ville tatt den samme beslutningen på nytt med de samme opplysningene.

KI-selskaper offentliggjør sikkerhetsrammeverk og frivillige forpliktelser, men leserne får sjelden se hvordan disse retningslinjene påvirker enkeltbeslutninger. Hvilke holdepunkter kan skille effektiv styring fra et PR-stunt?

Svært ofte står offentligheten igjen og lurer på om rammeverket faktisk får betydning for konkrete beslutninger, eller om det bare blir retorikk som selskapet aldri følger opp, når selskaper publiserer rammeverk. Svaret er åpenhet av en bestemt type. I stedet for flere prinsipperklæringer bør selskaper redegjøre for hvilke konkrete valg de tok, og hvordan rammeverket påvirket dem: hvilke lanseringer som ble utsatt, hvilke funksjoner som ble holdt tilbake, hvilke risikoterskler som ble utløst, og hva som skjedde videre.

Det mest talende beviset er en beslutning som kostet selskapet noe. Et rammeverk som aldri har endret et utfall, aldri har forsinket en lansering og aldri har blitt brukt på bekostning av inntektene, er vanskelig å skille fra PR. Disse redegjørelsene må også være konkrete nok til å kunne etterprøves, og de mest betydningsfulle spørsmålene bør bekreftes av en tredjepart med tilstrekkelig autoritet til å uttale seg offentlig.

Hvor går grensene for selskapers selvregulering? Hvilke beslutninger om akseptabel AI-risiko krever offentlige regler eller demokratisk tilsyn?

Den viktigste begrensningen gjelder svikt i tilsynet. Selv et velmenende og ansvarlig selskap kan rammes av en alvorlig krise, og da blir interessekonfliktene flere. Ansatte kan holde tilbake informasjon som kan skade jobben eller bonusen deres. Ledere kan undertrykke dårlige nyheter for å unngå offentlig kritikk. Frykt for søksmål kan hindre selskapet i åpenhet. I tidligere selskapskriser har den avgjørende informasjonen som regel kommet fra personer ledelsen ikke kunne kontrollere: eksterne revisorer og granskere, berørte parter eller interne varslere som bruker uavhengige rapporteringskanaler.

Det er her offentlige regler har størst betydning. Lovgivningen kan bidra relativt lite i regelutformingsfasen, fordi lover gjerne låner sentrale begreper fra selskapene. Den kan bidra mer når det gjelder åpenhet, ved også å omfatte selskaper som ikke vil offentliggjøre informasjon frivillig. Og den bidrar aller mest til etterprøvingen ved å kreve uavhengig gjennomgang, beskytte varslere og gi eksterne kontroller reell myndighet.

Den andre begrensningen er kollektiv. Det meste et enkelt selskap kan gjøre, er å stanse seg selv. Det kan ikke stanse konkurrentene sine. Beslutninger om katastrofal risiko, blant annet om man skal bremse utviklingen i front, krever koordinering mellom selskaper og myndigheter, nasjonalt og internasjonalt. En modell jeg mener er lovende, er en internasjonal standardsetter etter mønster av ISSB innen bærekraftsrapportering, uavhengig av myndighetene, men under tilsyn av et styre der myndighetene også er representert. Selskapsstyring er nødvendig i dette arbeidet, fordi det er inne i selskapene som bygger modellene at de temmes, men selskapene kan ikke løfte arbeidet alene.

Hvis du i dag skulle gi råd til styret i et raskt voksende AI-selskap, hvilke tre endringer i styringen ville du prioritere, og hvilke bevis ville du se etter ett år senere for å avgjøre om de hadde virket?

For det første: involvering i regelutformingen. Før selskapet vedtar eller reviderer sikkerhetsrammeverket eller retningslinjene for bruk, bør det rådføre seg med dem som berøres (brukere, sivilsamfunnet og fageksperter) og offentliggjøre hva det fikk høre, og hvordan det fulgte opp innspillene. For det andre: regelmessig rapportering om ansvarlighet, en årlig redegjørelse for de vanskelige beslutningene styret og ledelsen tok innenfor rammene av rammeverket, med nok detaljer til at de kan etterprøves. For det tredje: en ekstern kontrollør, ansatt av og rapporterende til uavhengige styremedlemmer, med full tilgang og rett til å offentliggjøre funnene sine.

Ett år senere ville jeg sett etter bevis på at hvert tiltak faktisk hadde fått gjennomslag. Når det gjelder involvering, minst én regel som ble endret på grunn av det selskapet fikk høre. Når det gjelder rapportering, beslutninger selskapet offentliggjorde selv om det helst ville unngått å snakke om dem, blant annet beslutninger som kostet det inntekter eller tid. Når det gjelder kontrolløren, funn selskapet ikke ønsket å få, og en oversikt over hva styret gjorde med dem. Hvis alt som rapporteres etter ett år er gode nyheter, har endringene ikke virket.

Takk for et flott intervju; lesere som ønsker å utforske boken og se på kjøpsalternativene, bør besøke det offisielle nettstedet for Selskapsstyring.

Antoine er en visjonær leder og medgrunnlegger i Unite.AI, drevet av en urokkelig lidenskap for å forme og fremme fremtiden for AI og robotikk. Som seriegründer mener han at AI vil forandre samfunnet like grunnleggende som elektrisiteten, og han snakker ofte begeistret om potensialet i banebrytende teknologier og kunstig generell intelligens (AGI).

Som futurist er han opptatt av å utforske hvordan disse innovasjonene vil forme verden. Han er også grunnlegger av Securities.io, en plattform som fokuserer på investeringer i avanserte teknologier som omdefinerer fremtiden og omformer hele bransjer.