Varför upphandling blir AI:s mest kraftfulla regulatoriska verktyg

För all den uppmärksamhet som ägnas åt AI-lagstiftning kan några av de mest betydelsefulla reglerna som styr tekniken komma från en helt oväntad källa: upphandlingsavdelningarna.

Precis som många regulatoriska början i USA erbjuder Kalifornien ett tidigt exempel: staten har byggt upp specifika krav för inköp av produkter och tjänster som använder generativ AI. Statliga enheter måste bedöma risken som är förknippad med GenAI-inköp, där medel- och högriskanvändningar får ytterligare granskning från Kaliforniens Department of Technology (CDT). Anbud måste innehålla GenAI-avslöjande språk, och leverantörer kan behöva avslöja sin användning av tekniken även när AI bara är en bifogad del av den köpta produkten eller tjänsten.

Ännu mer intressant är vad som händer efter att avtalet är slutfört. Kaliforniens GenAI-upphandlingsriktlinjer utvidgar tillsynen bortom det initiala köpet. Kontraktsansvariga förväntas övervaka GenAI-tekniken över tid eftersom vissa förändringar i tekniken kan utlösa en ny riskbedömning.

Detta förändrar förhållandet för leverantörer eftersom att gå igenom upphandlingsprocessen inte längre handlar om att svara på en säkerhetsenkät och lämna in någon dokumentation. AI-styrning börjar bli en del av inträdespriset för att göra affärer i Kalifornien. Och även om detta är den nuvarande situationen i Kalifornien, leder det ofta andra delstater när det saknas federal lagstiftning, vilket innebär att företag skulle vara kortsiktiga om de betraktar detta som ett kaliforniskt upphandlingsproblem.

När köparen börjar skapa reglerna

Hur blev upphandlingsavdelningarna startpunkten för AI-styrning? Regeringar kan spendera år på att diskutera lagstiftning, men upphandlingsregler kan vara smidigare eftersom de har en mycket mer omedelbar publik: alla som vill ha kontraktet.

Utan omfattande AI-lagstiftning har köpare hittat ett annat sätt att fastställa sina egna förväntningar kring AI. De kan bestämma vad de behöver veta om en leverantörs användning av tekniken, vilket bevis de förväntar sig att se, och vilken risknivå de är villiga att acceptera innan de undertecknar ett kontrakt. För stora köpare, särskilt regeringar och stora företag, kan dessa krav ha betydande vikt.

Upphandlingsteam i den privata sektorn har sina egna skäl att börja ställa frågor om var AI används eller vilket bevis som finns för att lämpliga kontroller finns på plats. Företag spenderar redan betydande tid på att granska sina leverantörers säkerhets- och integritetsrutiner. Införandet av AI tillför en ny uppsättning risker som köpare i allt högre grad måste förstå innan de överlämnar data till en leverantör, placerar dess teknik i en kritisk process eller låter den fatta beslut som påverkar kunder och anställda.

Din AI-risk kan tillhöra någon annan

En av de viktigare aspekterna av Kaliforniens strategi är att den erkänner hur svårt det har blivit att dra en tydlig linje kring en organisations användning av AI. Oavsett om den har köpt sin egen AI-produkt, samarbetar med konsultfirmor som levererar tjänster, eller helt enkelt använder molnbaserade tjänster, är AI inbäddat i organisationer eller deras leverantörskedjor.

Kaliforniens upphandlingsprocess tar hänsyn till en del av detta. Den omfattar IT- och icke-IT-inköp som involverar GenAI, inklusive konsulter som använder tekniken, och kräver riskbedömning när GenAI identifieras under upphandlingen.

Processen liknar den tid då cybersäkerhetsteam insåg att det inte räckte att skydda sina egna system om en leverantör med åtkomst till deras data eller infrastruktur hade svaga kontroller. Den insikten gjorde tredjeparts-cybersäkerhet till en viktig del av leverantörsriskhanteringen, en utveckling som AI också verkar följa.

Det skapar också ett besvärligt problem för organisationer som har byggt separata program för säkerhet, integritet, AI-styrning och varje ny efterlevnadskrav som dyker upp. Riskerna respekterar inte dessa organisatoriska gränser. En AI-applikation kan samtidigt skapa integritetsfrågor, säkerhetsexponering och regulatoriska skyldigheter.

Att bygga en ytterligare silo för att styra den lägger bara till en ny plats där något kan falla mellan stolarna.

Problemet med att bevisa efterlevnad en gång

En ytterligare komplikation till ett redan komplext problem är att AI rör sig. Modeller uppdateras, leverantörer lanserar nya funktioner, anställda hittar användningsområden för verktyg som ingen förutsåg när de köptes, och data förändras. Denna fluiditet innebär att även regleringen måste förändras.

Ändå är mycket av efterlevnadsarbetet fortfarande byggt kring ett specifikt ögonblick. En revision är på väg, så bevis samlas in. En kund skickar ett frågeformulär, så någon letar upp svaren. Ett nytt krav dyker upp, och ett annat efterlevnadsprojekt startar.

Detta tillvägagångssätt var redan besvärligt, men med AI blir det allt svårare att försvara. En riskbedömning som gjordes när en produkt köptes kan ha varit helt korrekt då, men kan vara kraftigt föråldrad ett år senare.

Kalifornien verkar erkänna detta, eftersom dess vägledande för kontraktsövervakning kräver löpande utvärdering av GenAI-leveranser, inklusive felaktig output, fabricerat innehåll och bias. Ändringar eller tillägg till GenAI-teknik i kontrakt som tidigare krävde CDT‑konsultation kan också kräva en omprövning.

Det NIST AI Risk Management Framework har en liknande syn på AI-riskhantering och betraktar den som en pågående process genom hela AI‑livscykeln. Att göra så kräver ett annat tankesätt hos organisationer som är vana vid att förbereda sig för nästa revision och sedan andas ut i lättnad när den är klar.

Inköp vill ha bevis, inte en panik

Det har funnits mycket entusiasm kring automatiserad efterlevnad, särskilt när företag försöker hålla jämna steg med ett växande antal säkerhets-, integritets- och AI‑krav. Attraktionen är förståelig, men faran uppstår när effektivitet förväxlas med styrning.

Att slutföra ett arbetsflöde berättar inte om den underliggande risken har förändrats. Till exempel kan en leverantör som för sex månader sedan inte använde AI för en viss tjänst nu göra det. Detta är anledningen till att efterlevnad måste fungera mer som en slinga än ett mållinje. Organisationer måste veta vad de styr, kontrollera att kontrollerna fortsätter att göra vad de ska, och integrera nya risker och krav i processen när de uppstår.

Om det görs på rätt sätt blir inköpsprocessen också betydligt mindre smärtsam. När en kund frågar hur AI styrs är svaret inte ett dokument någon skrev förra året för en revision. Det finns en pågående, aktuell evidensbas som visar hur risker hanteras i praktiken, vilket blir allt viktigare kommersiellt.

Kalifornien visar hur inköp kan omvandla AI‑styrningsprinciper till krav som leverantörer faktiskt måste uppfylla om de vill ha affären. Andra offentliga sektorns köpare kan göra detsamma, medan företagsinköpsteam har starka incitament att ställa hårdare frågor till sina egna leverantörer.

Företag kan så småningom upptäcka att AI‑styrning inte bara är något de gör för att en regulator kräver det. De kommer att styra AI eftersom ett inköpsteam beslutat att be dem bevisa det, vilket de gärna gör för att vinna affären.