Hvorfor innkjøp blir AI sitt mest kraftfulle reguleringsverktøy

For all den oppmerksomheten som rettes mot AI‑lovgivning, kan noen av de mest betydningsfulle reglene som styrer teknologien ende opp med å komme fra et virkelig uventet sted: innkjøpsavdelinger.

Som mange regulatoriske begynnelser i USA, gir California et tidlig eksempel: staten har etablert spesifikke krav for kjøp av produkter og tjenester som bruker generativ AI. Statlige enheter må vurdere risikoen knyttet til GenAI‑kjøp, med moderate og høy‑risiko‑bruk som får ekstra gransking fra California Department of Technology (CDT). Anbud må inneholde språk om GenAI‑avsløring, og leverandører kan måtte opplyse om sin bruk av teknologien selv når AI kun er en tilfeldighet i produktet eller tjenesten som kjøpes.

Enda mer interessant er hva som skjer etter at avtalen er inngått. California’s GenAI-anskaffelsesveiledningutvider tilsynet utover det første kjøpet. Kontraktsansvarlige forventes å overvåke GenAI‑teknologien over tid fordi visse endringer i teknologien kan utløse en ny risikovurdering.

Dette endrer ting for leverandører siden å komme gjennom innkjøpsprosessen ikke lenger er et spørsmål om å svare på et sikkerhetsskjema og levere noen dokumenter. AI‑styring begynner å bli en del av inngangsprisen for å drive virksomhet i California. Og selv om dette er den nåværende situasjonen i California, fører det ofte andre stater når det ikke finnes føderal lovgivning, noe som betyr at selskaper ville være kortsiktige ved å se på dette som et problem med California‑innkjøp.

Når kjøperen begynner å lage reglene

Hvordan ble innkjøpsavdelinger startpunktet for AI‑styring? Regjeringer kan bruke år på å debattere lovgivning, men innkjøpsregler kan være mer smidige fordi de har et mye mer umiddelbart publikum: alle som ønsker kontrakten.

Uten omfattende AI‑lovgivning har kjøpere funnet en annen måte å fastsette sine egne forventninger til AI på. De kan bestemme hva de trenger å vite om en leverandørs bruk av teknologien, hvilket bevis de forventer å se, og hvilket risikonivå de er villige til å akseptere før de signerer en kontrakt. For store kjøpere, spesielt myndigheter og store foretak, kan disse kravene ha betydelig vekt.

Innkjøpsteam i privat sektor har sine egne grunner til å begynne å stille spørsmål om for eksempel hvor AI brukes eller hvilket bevis som finnes for at det er tilstrekkelige kontroller på plass. Foretak bruker allerede betydelig tid på å undersøke sikkerhets- og personvernpraksis hos sine leverandører. Innføringen av AI tilfører et nytt sett med risikoer som kjøpere i økende grad må forstå før de gir en leverandør sine data, setter teknologien inn i en kritisk prosess eller lar den ta beslutninger som påvirker kunder og ansatte.

Din AI‑risiko kan tilhøre noen andre

En av de viktigste aspektene ved Californias tilnærming er at den erkjenner hvor vanskelig det har blitt å trekke en klar linje rundt en organisasjons bruk av AI. Enten den har kjøpt sitt eget AI‑tilbud, samarbeider med konsulentselskaper som leverer tjenester, eller bare bruker skybaserte tjenester, er AI innebygd i organisasjoner eller deres forsyningskjeder.

Californias innkjøpsprosess tar hensyn til noe av dette. Den dekker IT‑ og ikke‑IT‑kjøp som involverer GenAI, inkludert konsulenter som bruker teknologien, og krever risikovurdering når GenAI blir identifisert under innkjøp.

Prosessen ligner på da cybersikkerhetsteam innså at det ikke var nok å beskytte sine egne systemer hvis en leverandør med tilgang til deres data eller infrastruktur hadde svake kontroller. Denne erkjennelsen gjorde tredjeparts‑cybersikkerhet til en viktig del av leverandørrisikostyringen, en retning som AI også ser ut til å gå.

Det skaper også et vanskelig problem for organisasjoner som har bygget separate programmer for sikkerhet, personvern, AI‑styring og hver ny etterlevelsesforpliktelse som dukker opp. Risikoene respekterer ikke disse organisatoriske grensene. En AI‑applikasjon kan på samme tid skape personvernspørsmål, sikkerhetseksponering og regulatoriske forpliktelser.

Å bygge en ny silo for å styre den legger bare til et nytt sted hvor noe kan falle mellom stolene.

Problemet med å bevise etterlevelse én gang

En ytterligere komplikasjon til et allerede komplekst spørsmål er at AI er i bevegelse. Modeller oppdateres, leverandører ruller ut funksjoner, ansatte finner bruksområder for verktøy som ingen forutså da de ble kjøpt, og data endres. Denne flytende naturen betyr at regulering også må endres.

Likevel er mye etterlevelsesaktivitet fortsatt bygget rundt et tidspunkt. En revisjon er på vei, så bevis samles inn. En kunde sender et spørreskjema, så noen leter frem svarene. Et nytt krav kommer, og et nytt etterlevelsesprosjekt starter.

Denne tilnærmingen var allerede tungvint, men med AI blir den stadig vanskeligere å forsvare. En risikovurdering utført da et produkt ble kjøpt kan være helt nøyaktig på det tidspunktet, men kan være kraftig utdatert ett år senere.

California ser ut til å anerkjenne dette, ettersom dens veiledning for kontraktsovervåking krever løpende evaluering av GenAI-leveranser, inkludert unøyaktige resultater, fabrikkert innhold og skjevhet. Endringer eller tillegg til GenAI-teknologi i kontrakter som tidligere krevde CDT‑konsultasjon kan også kreve revurdering.

Den NIST AI Risk Management Framework har en lignende tilnærming til AI-risikostyring, og behandler det som en pågående prosess gjennom hele AI‑livssyklusen. Å gjøre dette vil kreve en annen tankegang fra organisasjoner som er vant til å forberede seg på neste revisjon og så puste lettet ut når den er over.

Innkjøp vil ha bevis, ikke en hastesak

Det har vært mye entusiasme rundt automatisert etterlevelse, spesielt etter hvert som selskaper prøver å holde tritt med et økende antall sikkerhets-, personvern- og AI‑krav. Tiltrekningen er forståelig, men faren oppstår når effektivitet forveksles med styring.

Å fullføre en arbeidsflyt forteller deg ikke om den underliggende risikoen har endret seg. For eksempel kan en leverandør som ikke brukte AI for en bestemt tjeneste for seks måneder siden, bruke det nå. Dette er grunnen til at etterlevelse må fungere mer som en løkke enn som en målstreken. Organisasjoner må vite hva de styrer, sjekke at kontrollene fortsatt gjør det de skal, og innlemme nye risikoer og krav i prosessen etter hvert som de dukker opp.

Gjort på riktig måte gjør også innkjøp betydelig mindre smertefullt. Når en kunde spør hvordan AI styres, er svaret ikke et dokument noen skrev i fjor for en revisjon. Det finnes nå en pågående samling av bevis som viser hvordan risikoer håndteres i praksis, og dette blir stadig viktigere kommersielt.

California viser hvordan innkjøp kan omgjøre AI‑styringsprinsipper til krav som leverandører faktisk må oppfylle hvis de vil ha forretningene. Andre offentlige innkjøpere kan gjøre det samme, mens bedriftsinnkjøpsteam har mange insentiver til å stille strengere spørsmål til sine egne leverandører.

Selskaper kan etter hvert oppdage at AI‑styring ikke er noe de gjør bare fordi en regulator krever det. De vil styre AI fordi et innkjøpsteam har bestemt seg for å be dem bevise det, og de vil gjerne gjøre det for å vinne forretningene.