Den nye æraen for bedrageri mot ledere vil ikke involvere ledere overhode

I de siste årene har den største digitale trusselen mot merker vært bedrageri mot ledere, ofte utført gjennom forfalskede e-postadresser eller falske sosiale mediekontoer. I dag står vi overfor en mye mer kompleks og overbevisende fiende: AI-agenter.

Oppblomstringen av autonome agenter drevet av store språkmodeller (LLM), designet til å fungere med liten eller ingen menneskelig inngripen, har åpnet opp nye muligheter som ligner på spenningen vi så i de tidlige web2- og mobilapp-æraene.

Mens virkelig autonome agenter ikke helt har tatt spranget fra visjon til virkelighet, ekspertene advarer at de kan være i stand til å bevege seg på bedriftsnettverk så tidlig som neste år. Spenningen og adopsjonen som følger vil uunngåelig havne på radar for alltid tilpassende cyberkriminelle, som ser autonome agenter som et nytt område for digitalt bedrageri. Hva skjer når disse agentene blir forfalsket? Eller verre, når de er forfalskerne?

Like som mobilappene en gang møtte en flom av forfalskede versjoner bygget for å hente inn påloggingsinformasjon eller installere malware, er AI-agenter nå i stand til å møte en lignende bølge av kopi-agenter. Denne gangen vil imidlertid risikoen være vanskeligere å oppdage, og skaden potensielt mer omfattende.

Fra bedrageri mot ledere til forfalskning av agenter

AI har allerede åpnet opp nye veier for bedrageri og bedrageri, karakterisert av stemme-kloning-svindel som kan reprodusere en lederens tale-mønster ved hjelp av bare noen sekunder med lyd, for eksempel, og nylig har det vært rapportert om bevis for sanntids deepfake-video og stemme-basert forfalskning. La oss nå forestille oss en autonom agent, som angivelig representerer ditt selskap, engasjerer med kunder, investorer eller partnere. Denne agenten kan være innbygget på en nettside, integrert i en chatbot eller selv interagere via e-post, og tilby troverdige, profesjonelle og fullstendig falske interaksjoner.

Forløperen til kopi-agenter kan ligge i “jailbreaking“-modeller, hvor trussel-aktører manipulerer LLM, ofte gjennom prompt-injeksjoner eller multi-turn-teknikker, for å produsere skadelig eller annen falsk utgang. Men dette er bare begynnelsen.

Ifølge data fra PitchBook, samlet AI-selskaper inn 131,5 milliarder dollar i 2024, og stod for mer enn en tredjedel av alle globale venture-kapitalavtaler. AI-våpenkappløpet, drevet av ambisiøse gründere, sultne investorer og ivrige regjeringer, vil raskt akselerere denne nye teknologiens evner, hvis legitime bruksområder vil fortsette å bli utnyttet for skumle formål.

Generativ AI har og vil fortsette å demokratisere skapelsen av slike agenter. Ettersom plattformene konkurrerer om å integrere dem, finnes det få guardrails for å verifisere deres autentisitet. Dette åpner døren for en ny klasse av forfalskning: ikke bare av mennesker, men også av programvare.

En vekkerklokke for ivrige merker og nysgjerrige forbrukere

Forbrukere og merker liker er bare begynt å forstå hva det innebærer å stole på en agent. Men tillit er hovedsakene i enhver digital interaksjon, og når den brytes, kan konsekvensene være ødeleggende.

Som observert med deepfake-videoer og stemme-kloning, kan falske agenter brukes til:

• Å bedra betalinger eller følsomme data under dekke av et etablert, eller annet tillitsverdig, merke
• Å omdirigere brukere til malware-infiserte nettsider via sosiale medier eller betalte annonser
• Å underminere kunde-tillit og utløse reputasjons-skade i stor skala

Ifølge en nylig rapport fra Federal Trade Commission rapport, var forfalsknings-svindel ansvarlig for nesten 3 milliarder dollar i rapporterte tap i USA alene – et tall som forventes å stige skarpt når AI-forfalskning blir mer sømløs og skalerbar.

Forfalskning av agenter: annonser, søk og sosiale medier

Hva som er spesielt farlig, er hvordan kopi-agenter vil bli distribuert. De trenger ikke sine egne nettsider eller domener for å få fotfeste. Uærlige aktører kan, og gjør, bruke betalte søke-resultater og sosiale medier-plattformer til å fremme skadelige kloner av tillitsfulle merker, ledere eller produkter. En sponsor-link på Google eller en promotert post på Instagram, for eksempel, er nok til å kanalisere uoppmerksomme brukere til en falsk agent eller støtteportal.

Dette økosystem-nivå-risikoen, hvor uærlige aktører kaprer legitime digitale eiendom for å fasilitere svindel, krever en ny skole for cyber-sikkerhet. Det er ikke lenger nok å sikre ditt nettverk, ditt sky eller sikre dine ansattes legitimasjon. Ditt merkes trussel-perimeter inkluderer nå hver annonse-nettverk, søke-plattform og tredjeparts-verktøy dine kunder interagerer med.

Ta handling før det er for sent

Vi går inn i en verden hvor grensen mellom mennesker og agenter blir stadig mer utydelig. Trusselen er ikke lenger bare forfalskning av mennesker, som for tiden er i eksponentiell vekst på grunn av tilgjengelige AI-verktøy, det er forfalskning av digitale personligheter.

Hva kan bedrifter gjøre for å forberede seg?

1. Kartlegging av merkeets digitale tilstedeværelse: Vet hvor dine kunder interagerer med ditt selskap og dine agenter – enten på din nettside, via API eller gjennom tredjeparter – og overvåk aktivt disse inngangspunktene for forfalsknings-forsøk.
2. Overvåk fremvoksende agent-økosystemer: Ettersom åpne agent-markeds-plasser og plattformer (som Hugging Face Spaces) vokser i popularitet, vær våken for likende eller fork av dine verktøy som dukker opp andre steder.
3. Kort tid til oppdagelse (TTD) og tid til å rette opp (TTR): Bruk løsninger som tillater rask identifisering og fjerning av forfalskere, spesielt de som misbruker betalte annonser eller sosiale plattformer, er kritisk for å begrense skaden.
4. Undervis dine brukere: Bygg transparens inn i dine agent-erfaringer. Dine brukere bør forstå hvor og hvordan de bør forvente å interagere med dine verktøy, og hvordan de kan spore røde flagg.
5. Etabler agent-autentisitets-protokoller: Arbeid mot kryptografisk eller metadata-basert verifisering som kan bekrefte en agents opphav og legitimitet.

Løsningen ligger i å sikre AI-agenter-økosystemet, ikke å unngå det. Like som vi har lært å verifisere domener, autentisere e-poster og sjekke mobilappar i tidligere år, må vi nå utvide samme grad av varsomhet til verden av AI-agenter. Hvis vi ikke kommer først med forfalskning av agenter nå, kan vi snart finne oss selv å snakke med en kjent-utseende assistent som jobber for den andre siden.