AI-først betyr sikkerhet-først

Kjøp et barn en ny sykkel, og sykkelen vil få all oppmerksomheten – ikke den blanke hjelmen som følger med. Men foreldre setter pris på hjelmen.

Jeg er redd at mange av oss i dag er mer som barn når det gjelder AI. Vi fokuserer på hvor kul det er og hvor raskt vi kan gå med det. Ikke så mye på hva vi kan gjøre for å holde oss trygge mens vi bruker det. Det er en skamme, fordi du ikke kan ha fordelene av ett uten det andre.

Enkelt uttrykt, å bruke AI uten å planlegge nøye for sikkerhet først, er ikke bare risikabelt. Det er en rett vei ned en klippe.

Hva betyr AI-sikkerhet egentlig?

AI-sikkerhet innebærer en rekke skritt. Men kanskje det viktigste elementet er når å gjøre dem. For å være effektiv, må AI-sikkerhet være ved design.

Det betyr at vi overveier hvordan vi kan forhindre skade før vi tar det for en testtur. Vi finner ut hvordan vi kan sikre at AI opererer og genererer resultater i tråd med våre verdier og sosiale forventninger først – ikke etter at vi får noen forferdelige resultater.

Å designe for AI-sikkerhet inkluderer også å tenke på hvordan vi kan gjøre det robust, eller i stand til å fungere forutsigbart selv i ugunstige situasjoner. Det betyr å gjøre AI gjennomsiktig, så beslutningene AI tar er forståelige, granskbare og upartiske.

Men det inkluderer også å se på verden hvor AI vil fungere. Hvilke institusjonelle og juridiske sikkerhetstiltak trenger vi, særlig for å være i samsvar med gjeldende regler? Og jeg kan ikke overbetone menneskekomponenten: Hva vil effekten av å bruke AI være på menneskene som interagerer med det?

Sikkerhet ved design betyr å innbygge AI-sikkerhet i alle våre prosesser, arbeidsflyter og operasjoner før vi skriver vår første prompt.

Risikoen overveier bekymringene

Ikke alle er enige. Når de hører “sikkerhet-først”, hører noen “gå så forsiktig og sakte at du blir latt tilbake”. Selvfølgelig betyr det ikke det. Det betyr ikke å kvalme innovasjon eller å slowe ned tid-til-marked. Og det betyr ikke en endeløs strøm av piloter som aldri skalerer. Tvert imot.

Det betyr å forstå risikoen med ikke å designe sikkerhet inn i AI. Vurdér bare noen få.

• Deloitte’s Center for Financial Services spår at GenAI kunne være ansvarlig for svindelstap på 40 milliarder dollar i USA alene innen 2027, fra 12,3 milliarder dollar i 2023, en økning på 32% per år.
• Forvrengde beslutninger. Saker dokumenterer forvrengd medisinsk behandling på grunn av AI som var trent på forvrengede data.
• Dårlige beslutninger som inspirerer flere dårlige beslutninger. Verre enn en første dårlig beslutning fremmet av feil AI, studier indikerer at disse feilaktige beslutningene kan bli en del av hvordan vi tenker og tar fremtidige beslutninger.
• Reelle konsekvenser. AI som gir dårlig medisinsk råd har vært ansvarlig for dødelige pasientresultater. Juridiske problemer har resultert fra å sitere en AI-hallusinasjon som rettslig presedens. Og programvarefeil som resulterer fra en AI-assistent som gir feilinformasjon, har forurenset selskapets produkter og omdømme, og ledet til utbredt brukerutilfredshet.

Og ting er på vei til å bli enda mer interessante.

Introduksjonen og rask adopsjon av agens AI, AI som kan fungere autonomt for å handle basert på beslutninger det har tatt, vil forsterke viktigheten av å designe for AI-sikkerhet.

En AI-agent som kan handle på din vegne, kan være usedvanlig nyttig. I stedet for å fortelle deg om de beste flyreisene for en reise, kan den finne og bestille dem for deg. Hvis du ønsker å returnere et produkt, kan et selskaps AI-agent ikke bare fortelle deg om returneringspolitikken og hvordan du kan returnere et produkt, men også håndtere hele transaksjonen for deg.

Flott – så lenge agenten ikke hallucinerer en flyreise eller mishandler din finansielle informasjon. Eller feilaktig tolker selskapets returneringspolitikk og nektar gyldige returneringer.

Det er ikke vanskelig å se hvordan de nåværende AI-sikkerhetsrisikoen lett kan kaskade med en rekke AI-agenter som løper rundt og tar beslutninger og handler, særlig siden de ikke sannsynligvis vil handle alene. Mye av den virkelige verdien i agens AI vil komme fra lag av agenter, hvor enkeltagenter håndterer deler av oppgaver og samarbeider – agent til agent – for å få jobben gjort.

Så hvordan kan du omfavne AI-sikkerhet ved design uten å hemme innovasjon og drepe dens potensielle verdi?

Sikkerhet ved design i praksis

Ad hoc-sikkerhetstiltak er ikke svaret. Men å integrere sikkerhetspraksis i hver fase av en AI-implementering er.

Begynn med data. Sørg for at data er merket, annotert der det er nødvendig, fri for forvrengning og av høy kvalitet. Dette er spesielt viktig for treningdata.

Tren dine modeller med menneskelig tilbakemelding, da menneskelig dømmekraft er essensiell for å forme modelladfærd. Forsterket læring med menneskelig tilbakemelding (RLHF) og lignende teknikker tillater annotatorer å vurdere og guide svar, og hjelper LLM-er å generere utdata som er trygge og i tråd med menneskelige verdier.

Deretter, før du slipper ut en modell, stress-test den. Rød team som prøver å fremkalle usikker adferd ved å bruke motstridende promter, randtilfeller og forsøk på å bryte ut, kan avsløre sårbarheter. Å fikse dem før de når offentligheten holder ting trygge før det blir et problem.

Mens denne testingen sikrer at dine AI-modeller er robuste, fortsett å overvåke dem med et øye på nye trusler og justeringer som måtte være nødvendige for modellene.

På en lignende måte, overvåk jevnlig innholdskilder og digitale interaksjoner for tegn på svindel. Kritisk, bruk en hybrid AI-menneskelig tilnærming, og la AI-automatisering ta hånd om den enorme mengden data som må overvåkes, og dyktige mennesker håndtere gjennomgang for å sikre nøyaktighet.

Å bruke agens AI krever enda mer omsorg. En grunnleggende krav: tren agenten til å kjenne sine begrensninger. Når den møter usikkerhet, etiske dilemmaer, nye situasjoner eller særlig høyriskede beslutninger, sikre at den vet hvordan den skal be om hjelp.

Og design sporbarhet inn i dine agenter. Dette er spesielt viktig så at deres interaksjoner bare skjer med verifiserte brukere, for å unngå at svindlere påvirker en agents handlinger.

Hvis de ser ut til å fungere effektivt, kan det være fristende å slippe løs agentene og la dem gjøre sin sak. Vår erfaring sier å fortsette å overvåke dem og oppgavene de utfører for å se etter feil eller uventet adferd. Bruk både automatiserte sjekker og menneskelig gjennomgang.

I virkeligheten er et essensielt element av AI-sikkerhet jevnlig menneskelig involvering. Mennesker bør være bevisst engasjert der kritisk dømmekraft, empati eller nuanser og tvetydighet er involvert i en beslutning eller handling.

Igen, for å være tydelig, disse er alle praksiser som du bygger inn i AI-implementeringen på forhånd, ved design. De er ikke resultatet av at noe går galt og så rusher for å finne ut hvordan man kan minimere skaden.

Fungerer det?

Vi har vært med på å bruke en AI-sikkerhetsfilosofi og “ved design”-rammeverk med våre kunder gjennom oppblomstringen av GenAI og nå på rask vei til agens AI. Vi finner at, i motsetning til bekymringer om at det skal slowe ned ting, det faktisk hjelper å akselerere dem.

Agens AI har potensialet til å redusere kostnadene for kundeservice med 25-50%, for eksempel, mens det driver opp kundetilfredshet. Men det avhenger av tillit.

Mennesker som bruker AI må stole på det, og kundene som interagerer med AI-aktiverede menneskelige agenter eller med faktiske AI-agenter, kan ikke oppleve en enkelt interaksjon som ville undergrave deres tillit. En dårlig opplevelse kan utradere tillit til et merkevare.

Vi stoler ikke på det som ikke er trygt. Så når vi bygger sikkerhet inn i alle lag av AI, kan vi gjøre det med tillit. Og når vi er klare til å skalerer det, kan vi gjøre det raskt – med tillit.

Mens å sette AI-sikkerhet først i praksis kan se overveldende ut, er du ikke alene. Det er mange eksperter som kan hjelpe og partnere som kan dele hva de har lært og lærer, så du kan tappe inn i verdien av AI på en trygg måte uten å slowe ned.

AI har vært en spennende tur hittil, og mens turen akselererer, finner jeg det spennende. Men jeg er også glad for at jeg har på meg hjelmen.