Hvorfor indkøb bliver AI’s mest kraftfulde reguleringsværktøj

For al den opmærksomhed, der rettes mod AI‑lovgivning, kan nogle af de mest afgørende regler for teknologien ende med at komme fra et helt uventet sted: indkøbsafdelinger.

Ligesom mange regulatoriske begyndelser i USA, giver Californien et tidligt eksempel: staten har opbygget specifikke krav til køb af produkter og tjenester, der bruger generativ AI. Statlige enheder skal vurdere risikoen forbundet med GenAI‑indkøb, hvor brug med moderat og høj risiko får ekstra granskning fra Californien Department of Technology (CDT). Udbud skal indeholde GenAI‑offentliggørelsessprog, og leverandører kan blive påkrævet at afsløre deres brug af teknologien, selv når AI kun er en tilfældig del af det købte produkt eller den købte tjeneste.

Endnu mere interessant er, hvad der sker, når handlen er afsluttet. Californiens GenAI-indkøbsvejledning udvider tilsynet ud over det oprindelige køb. Kontraktansvarlige forventes at overvåge GenAI-teknologi over tid, fordi visse ændringer i teknologien kan udløse en ny risikovurdering.

Dette ændrer tingene for leverandører, da det ikke længere kun handler om at besvare et sikkerhedsspørgeskema og aflevere noget dokumentation for at komme igennem indkøbet. AI‑styring begynder at blive en del af adgangsprisen for at drive forretning i Californien. Og selvom dette er den aktuelle situation i Californien, fører det ofte andre stater, når der ikke findes føderal lovgivning, hvilket betyder, at virksomheder ville være kortsigtede, hvis de så dette som et rent californisk indkøbsproblem.

Når køberen begynder at lave reglerne

Hvordan blev indkøbsafdelinger grundstenen for AI‑styring? Regeringer kan bruge år på at debattere lovgivning, men indkøbsregler kan være mere smidige, fordi de har et meget mere umiddelbart publikum: alle, der ønsker kontrakten.

Uden omfattende AI‑lovgivning har købere fundet en anden måde at fastlægge deres egne forventninger til AI på. De kan beslutte, hvad de skal vide om en leverandørs brug af teknologien, hvilket bevismateriale de forventer at se, og hvilket risikoniveau de er villige til at acceptere, før de underskriver en kontrakt. For store købere, især regeringer og store virksomheder, kan disse krav have betydelig vægt.

Indkøbsteams i den private sektor har deres egne grunde til at begynde at stille spørgsmål om, hvor AI anvendes, eller hvilket bevis der findes for, at der er passende kontroller på plads. Virksomheder bruger allerede betydelig tid på at undersøge leverandørers sikkerheds‑ og privatlivspraksis. Introduktionen af AI tilføjer et nyt sæt risici, som købere i stigende grad skal forstå, før de overlader deres data til en leverandør, integrerer teknologien i en kritisk proces eller lader den træffe beslutninger, der påvirker kunder og medarbejdere.

Din AI‑risiko kan tilhøre en anden

En af de vigtigste ting ved Californiens tilgang er, at den anerkender, hvor svært det er at tegne en klar linje omkring en organisations brug af AI. Uanset om den har købt sin egen AI‑løsning, arbejder med konsulentfirmaer, der leverer tjenester, eller blot bruger cloud‑baserede tjenester, er AI indlejret i organisationer eller deres forsyningskæder.

Californiens indkøbsproces tager højde for noget af dette. Den dækker IT‑ og ikke‑IT‑indkøb, der involverer GenAI, inklusive konsulenter, der bruger teknologien, og kræver risikovurdering, når GenAI identificeres under indkøbet.

Processen minder om, da cybersikkerhedsteams indså, at det ikke var nok at beskytte deres egne systemer, hvis en leverandør med adgang til deres data eller infrastruktur havde svage kontroller. Denne erkendelse gjorde tredjeparts‑cybersikkerhed til en central del af leverandørrisikostyring, en retning som AI også ser ud til at følge.

Det skaber også et akavet problem for organisationer, der har opbygget separate programmer for sikkerhed, privatliv, AI‑styring og hver ny overholdelsesforpligtelse, der dukker op. Risiciene respekterer ikke disse organisatoriske grænser. En AI‑applikation kan på samme tid skabe privatlivsspørgsmål, sikkerhedseksponering og regulatoriske forpligtelser.

At bygge endnu en silo for at styre den tilføjer blot et ekstra sted, hvor noget kan falde mellem sprækkerne.

Problemet med at bevise overholdelse én gang

En yderligere komplikation til et allerede komplekst problem er, at AI er i bevægelse. Modeller opdateres, leverandører ruller nye funktioner ud, medarbejdere finder anvendelser for værktøjer, som ingen havde forudset, da de blev købt, og data ændrer sig. Denne fluiditet betyder, at reguleringen også skal ændre sig.

Alligevel er meget af compliance‑aktiviteten stadig bygget omkring et øjeblik i tiden. En revision er på vej, så beviser indsamles. En kunde sender et spørgeskema, så nogen finder svarene. Et nyt krav ankommer, og et nyt compliance‑projekt starter.

Denne tilgang var allerede besværlig, men med AI bliver den stadig sværere at forsvare. En risikovurdering udført, da et produkt blev købt, kan have været helt præcis på det tidspunkt, men kan være kraftigt forældet et år senere.

Californien ser ud til at anerkende dette, da dens vejledning til kontraktmonitorering kalder på løbende evaluering af GenAI-leverancer, herunder unøjagtige output, fabrikeret indhold og bias. Ændringer eller tilføjelser til GenAI-teknologi i kontrakter, der tidligere krævede CDT-konsultation, kan også kræve revurdering.

Den NIST AI Risk Management Framework tager et lignende syn på AI-risikostyring og betragter det som en løbende proces gennem AI-levetiden. At gøre dette vil kræve en anden tankegang fra organisationer, der er vant til at forberede sig på den næste revision og derefter ånde lettet op, når den er overstået.

Indkøb vil have beviser, ikke en jagt

Der har været masser af begejstring omkring automatiseret overholdelse, især da virksomheder forsøger at følge med i et stigende antal sikkerheds-, privatlivs- og AI-krav. Tiltrækningen er forståelig, men faren opstår, når effektivitet forveksles med styring.

At fuldføre en arbejdsproces fortæller dig ikke, om den underliggende risiko har ændret sig. For eksempel kan en leverandør, der for seks måneder siden ikke brugte AI til en bestemt tjeneste, nu gøre det. Dette er grunden til, at overholdelse skal fungere mere som en løkke end som en målstreg. Organisationer skal vide, hvad de styrer, kontrollere at kontrolmekanismer fortsat gør, hvad de skal, og indarbejde nye risici og krav i processen, efterhånden som de opstår.

Gøres det korrekt, gør det også indkøb betydeligt mindre smertefuldt. Når en kunde spørger, hvordan AI styres, er svaret ikke gemt i et dokument, som nogen skrev sidste år til en revision. Der er en aktuel, løbende mængde beviser, der viser, hvordan risici håndteres i praksis, hvilket bliver kommercielt vigtigt.

Californien viser, hvordan indkøb kan omsætte AI-styringsprincipper til krav, som leverandører faktisk skal opfylde, hvis de vil have forretningen. Andre offentlige indkøbere kan gøre det samme, mens virksomheders indkøbsteams har masser af incitament til at stille hårdere spørgsmål til deres egne leverandører.

Virksomheder kan efterhånden opdage, at AI-styring ikke er noget, de gør blot fordi en regulator kræver det. De vil styre AI, fordi et indkøbsteam har besluttet at bede dem bevise det, hvilket de gerne vil gøre for at vinde forretningen.