AI-först betyder säkerhet-först

Köp en ny cykel till ett barn, och cykeln kommer att få all uppmärksamhet – inte den blanka hjälmen som följer med den. Men föräldrar uppskattar hjälmen.

Jag är rädd för att många av oss idag är mer som barn när det gäller AI. Vi är fokuserade på hur coolt det är och hur fort vi kan gå med det. Inte så mycket på vad vi kan göra för att hålla oss säkra medan vi använder det. Det är synd, för du kan inte ha fördelarna med en sak utan den andra.

Det är enkelt uttryckt, att applicera AI utan att noggrant planera för säkerhet först är inte bara riskabelt. Det är en rak väg nerför ett stup.

Vad betyder AI-säkerhet egentligen?

AI-säkerhet innefattar en mängd steg. Men kanske det viktigaste elementet är när man tar dem. För att vara effektiv måste AI-säkerhet vara genom design.

Det betyder att vi överväger hur vi kan förhindra skada innan vi tar det för en testtur. Vi figurerar ut hur vi kan se till att AI fungerar och genererar resultat i linje med våra värderingar och sociala förväntningar först – inte efter att vi får några förskräckliga resultat.

Att designa för AI-säkerhet innefattar också att tänka på hur man kan göra det robust, eller kunna fungera förutsägbart även i ogynnsamma situationer. Det betyder att göra AI transparent, så att besluten AI fattar är förståeliga, granskbara och obefläckade.

Men det innefattar också att titta på den värld där AI kommer att fungera. Vilka institutionella och juridiska skydd behöver vi, särskilt för att följa tillämpliga regeringars regler? Och jag kan inte överbetona människokomponenten: Vad kommer påverkan av AI-användningen att vara på de människor som interagerar med det?

Säkerhet genom design betyder att integrera AI-säkerhet i alla våra processer, arbetsflöden och operationer innan vi skriver vår första prompt.

Riskerna överväger bekymmer

Inte alla är överens. När de hör “säkerhet först”, hör vissa “gå så försiktigt och långsamt att du blir lämnad efter”. Naturligtvis är det inte vad säkerhet först betyder. Det behöver inte kväva innovation eller sakta ner tid till marknad. Och det betyder inte en ändlös ström av piloter som aldrig skalas. Tvärtom.

Det betyder att förstå riskerna med inte att designa säkerhet in i AI. Tänk på bara några.

• Deloittes Center for Financial Services förutspår att GenAI kan vara ansvarig för bedrägeriförluster på 40 miljarder dollar i USA ensam till 2027, från 12,3 miljarder dollar 2023, en ökning på 32% per år.
• Partiska beslut. Fall dokumenterar partisk medicinsk vård på grund av AI som hade tränats på partiska data.
• Dåliga beslut som inspirerar fler dåliga beslut. Värre än ett initialt dåligt beslut som utlösts av felaktig AI, studier tyder på att dessa felaktiga beslut kan bli en del av hur vi tänker och fattar beslut i framtiden.
• Verkliga konsekvenser. AI som ger dålig medicinsk rådgivning har varit ansvarig för dödliga patientutfall. Juridiska problem har uppstått på grund av att en AI:s hallucination citerades som juridisk prejudikat. Och programvarufel som orsakats av en AI-assistent som gav felaktig information har förorenat företagsprodukter och deras rykte och lett till omfattande användarmissnöje.

Och saker är på väg att bli ännu mer intressanta.

Introduktionen och snabba antagandet av agenter AI, AI som kan fungera autonomt för att fatta beslut baserat på beslut de har fattat, kommer att förstora betydelsen av att designa för AI-säkerhet.

En AI-agent som kan agera på din vägnar kan vara oerhört användbar. Istället för att den berättar för dig om de bästa flygen för en resa, kan den hitta dem och boka dem åt dig. Om du vill returnera en produkt, kan ett företags AI-agent inte bara berätta för dig om returpolicyn och hur du kan returnera den, utan också hantera hela transaktionen åt dig.

Storartat – så länge agenten inte hallucinerar ett flyg eller hanterar dina finansiella uppgifter felaktigt. Eller får företagets returpolicy fel och vägrar giltiga returer.

Det är inte svårt att se hur de nuvarande AI-säkerhetsriskerna lätt kan kaskada med en mängd AI-agenter som fattar beslut och agerar, särskilt eftersom de inte kommer att agera ensamma. Mycket av det verkliga värdet i agenter AI kommer från team av agenter, där enskilda agenter hanterar delar av uppgifter och samarbetar – agent till agent – för att få jobbet gjort.

Så hur kan du omfamna AI-säkerhet genom design utan att hämma innovation och döda dess potential?

Säkerhet genom design i aktion

Ad hoc-säkerhetskontroller är inte svaret. Men att integrera säkerhetspraxis i varje fas av en AI-implementering är.

Börja med data. Se till att data är märkt, annoterad där det behövs, partiskt fritt och av hög kvalitet. Detta är särskilt sant för träningsdata.

Träna dina modeller med mänsklig feedback, eftersom mänsklig bedömning är avgörande för att forma modellbeteende. Förstärkt inlärning med mänsklig feedback (RLHF) och liknande tekniker tillåter annotatorer att betygsätta och vägleda svar, vilket hjälper LLM att generera utdata som är säkra och anpassade till mänskliga värderingar.

Sedan, innan du släpper en modell, utsätt den för stress. Röda lag som försöker provocera osäkert beteende genom att använda motstridiga prompter, gränsfall och försök att bryta ut kan avslöja sårbarheter. Att åtgärda dem innan de når allmänheten håller saker säkra innan det finns ett problem.

Medan denna testning ser till att dina AI-modeller är robusta, fortsätt att övervaka dem med ett öga på nya hot och justeringar som kan behövas för modellerna.

På samma sätt, övervaka regelbundet innehållskällor och digitala interaktioner för tecken på bedrägeri. Kritiskt, använd en hybrid AI-mänsklig approach, låt AI-automatisering ta hand om den enorma mängden data som ska övervakas, och utbildade människor hanterar granskningar för verkställighet och för att säkerställa noggrannhet.

Att applicera agenter AI kräver ännu mer omsorg. En grundläggande krav: träna agenten att känna till dess begränsningar. När den möter osäkerhet, etiska dilemman, nya situationer eller särskilt högriskbeslut, se till att den vet hur den ska be om hjälp.

Designa också spårbarhet i dina agenter. Detta är särskilt viktigt så att deras interaktioner endast sker med verifierade användare, för att undvika bedragare som påverkar en agents handlingar.

Om de verkar fungera effektivt, kan det vara frestande att släppa loss agenterna och låta dem göra sin sak. Vår erfarenhet säger att vi ska fortsätta att övervaka dem och de uppgifter de utför för att se till att det inte finns några fel eller oväntat beteende. Använd både automatiserade kontroller och mänsklig granskning.

I själva verket är en avgörande komponent i AI-säkerhet regelbunden mänsklig inblandning. Människor bör medvetet engageras där kritisk bedömning, empati eller nyans och tvetydighet är inblandade i ett beslut eller handling.

Igen, för att vara tydlig, är dessa alla praxis som du bygger in i AI-implementeringen i förväg, genom design. De är inte resultatet av att något går fel och sedan skyndar man sig för att komma på hur man kan minimera skadan.

Fungerar det?

Vi har tillämpat en AI-säkerhetsfilosofi och “genom design”-ramverk med våra kunder under utvecklingen av GenAI och nu på den snabba banan till agenter AI. Vi upptäcker att, till skillnad från farhågor om att det kommer att sakta ner saker, det faktiskt hjälper till att påskynda dem.

Agenter AI har potentialen att sänka kundsupportkostnaderna med 25-50%, till exempel, samtidigt som de ökar kundnöjdheten. Men det beror allt på förtroende.

Människor som använder AI måste lita på det, och kunder som interagerar med AI-aktiverade mänskliga agenter eller med faktiska AI-agenter kan inte uppleva en enda interaktion som skulle undergräva deras förtroende. En dålig upplevelse kan utplåna förtroendet för ett varumärke.

Vi litar inte på det som inte är säkert. Så när vi bygger säkerhet in i varje lager av AI som vi är på väg att lansera, kan vi göra det med förtroende. Och när vi är redo att skala upp det, kan vi göra det snabbt – med förtroende.

Medan att sätta AI-säkerhet först i praktiken kan tyckas överväldigande, är du inte ensam. Det finns många experter som kan hjälpa och partners som kan dela vad de har lärt sig och vad de lär sig så att du kan ta del av AI-värdet på ett säkert sätt utan att sakta ner dig.

AI har varit en spännande resa hittills, och när resan accelererar, tycker jag att det är spännande. Men jag är också glad att jag har min hjälm.