Den nya eran av verkställande imitation kommer inte att involvera verkställande alls

För de senaste åren har den största digitala hotet mot varumärken varit verkställande imitation, ofta genomförd via förfalskade e-postadresser eller imposterande sociala mediekonton. Idag står vi inför ett mycket mer komplext och övertygande hot: AI-agenter.

Utvecklingen av autonoma agenter som drivs av stora språkmodeller (LLM), designade för att fungera med liten eller ingen mänsklig inblandning, har öppnat upp nya möjligheter som påminner om den entusiasm som sågs i de tidiga webb 2.0- och mobilapp-erorna.

Medan riktigt autonoma agenter ännu inte har tagit steget från vision till verklighet, varnar experter att de kan börja röra sig på företagsnätverk redan nästa år. Den entusiasm och antagande som följer kommer oundvikligen att hamna på radar för alltid anpassande cyberkriminella, som ser autonoma agenter som en ny front för digital bedrägeri. Vad händer när dessa agenter imiteras? Eller värre, när de är imitatörerna?

Precis som mobilappar en gång mötte en flod av förfalskade versioner som byggdes för att extrahera inloggningsuppgifter eller installera skadlig kod, är AI-agenter nu redo att möta en liknande våg av kloner. Den här gången kommer dock risken att vara svårare att upptäcka, och skadorna potentiellt mer omfattande.

Från verkställande imitation till agentimitation

AI har redan öppnat upp nya vägar för bedrägeri och bedrägeri, karakteriserat av röstkloningsbedrägeri som kan återskapa en verkställande persons talmodeller med bara några sekunders ljud, till exempel, och nyligen har bevis för realtidsdjupfalska videor och röstbaserad imitation rapporterats. Tänk nu på en autonom agent, som påstår sig representera ditt företag, som interagerar med kunder, investerare eller partners. Den agenten kunde vara inbäddad på en webbplats, integrerad i en chattbot eller till och med interagera via e-post, och erbjuda trovärdiga, professionella och fullständigt bedrägliga interaktioner.

Föregångaren till klonagenter kan ligga i ” jailbreaking“-modeller, genom vilka hotaktörer manipulerar LLM, ofta genom promptinjektioner eller multi-turn-tekniker, för att producera skadliga eller annars falska utdata. Men detta är bara början.

Enligt data från PitchBook, höll AI-företag 131,5 miljarder dollar i 2024, vilket motsvarar mer än en tredjedel av de totala globala riskkapitalaffärerna. AI-kapprustningen, driven av ambitiösa grundare, hungriga investerare och ivriga regeringar, kommer snabbt att accelerera denna framväxande teknikens förmågor, vars legitima användningsfall kommer att fortsätta att utnyttjas för skadliga syften.

Generativ AI har och kommer att fortsätta att demokratisera skapandet av sådana agenter. När plattformar tävlar om att integrera dem, finns det få skydd för att verifiera deras äkthet. Detta öppnar dörren för en ny klass av imitation: inte bara av människor, utan också av programvara.

En väckarklocka för angelägna varumärken och nyfikna konsumenter

Konsumenter och varumärken likaså är bara början på att förstå vad det innebär att lita på en agent. Men förtroende är navet i alla digitala interaktioner, och när det bryts, kan konsekvenserna vara förödande.

Som observerats med djupfalska videor och röstkloning, kan falska agenter användas för att:

• Begära betalningar eller känsliga data under förevändning av ett etablerat eller annars trovärdigt varumärke
• Omdirigera användare till skadlig kod-infekterade webbplatser via sociala medier-DM eller betalda annonser
• Undergräva kundförtroendet och utlösa rykteskador i stor skala

Enligt en nylig rapport från Federal Trade Commission rapport, var imitationsscammer ansvariga för nästan 3 miljarder dollar i rapporterade förluster i USA ensam – en siffra som förväntas stiga kraftigt när AI-imitation blir mer sömlös och skalbar.

Förekomsten av falska agenter: Annonser, sökning och sociala medier

Vad som är särskilt farligt är hur klonagenter kommer att distribueras. De behöver inte sina egna webbplatser eller domäner för att få fart. Illvilliga aktörer kan, och gör, använda betalda sökresultat och sociala medieplattformar för att främja skadliga kloner av trovärdiga varumärken, verkställande eller produkter. En sponsrad länk på Google eller en främjad inlägg på Instagram, till exempel, är tillräckligt för att leda oskyldiga användare till en falsk agent eller supportportal.

Denna ekosystem-nivårisken, där illvilliga aktörer kapar legitima digitala fastigheter för att underlätta bedrägeri, kräver en ny skola av tankar för cybersäkerhet. Det räcker inte längre att skydda ditt nätverk, din molntjänst eller säkra dina anställdas autentiseringsuppgifter. Ditt varumärkes hotperimeter inkluderar nu varje annonsnätverk, sökplattform och tredjepartsverktyg som dina kunder interagerar med.

Att vidta åtgärder innan det är för sent

Vi går in i en värld där gränsen mellan människor och agenter blir alltmer suddig. Hotet är inte längre bara imitation av människor, som för närvarande är i exponentiell tillväxt på grund av tillgängliga AI-verktyg, utan imitation av digitala personligheter.

Så, hur kan företag förbereda sig?

1. Kartlägg ditt varumärkes digitala närvaro: Veta var dina kunder interagerar med ditt företag och dina agenter – antingen på din webbplats, via API eller genom tredje parter – och aktivt övervaka dessa ingångspunkter för imitationförsök.
2. Övervaka framväxande agent-ekosystem: När öppna agentmarknadsplatser och plattformar (som Hugging Face Spaces) vinner popularitet, vara vaksam om liknande eller grenar av dina verktyg som dyker upp på andra håll.
3. Förkorta tid-till-upptäckt (TTD) och tid-till-åtgärd (TTR): Använd lösningar som möjliggör snabb identifiering och borttagning av imitatörer, särskilt de som missbrukar betalda annonser eller sociala plattformar, är avgörande för att begränsa skadorna.
4. Utbyggd användarutbildning: Bygg transparens i dina agentupplevelser. Dina användare bör förstå var och hur de ska förvänta sig att interagera med dina verktyg och hur man upptäcker varningstecken.
5. Etablera agentautentiseringsprotokoll: Arbeta mot kryptografisk eller metadata-baserad verifiering som kan bekräfta en agents ursprung och legitimitet.

Lösningen ligger i att säkra AI-agenter-ekosystemet, inte att undvika det. Precis som vi har lärt oss att verifiera domäner, autentisera e-post och granska mobilappar under de senaste decennierna, måste vi nu utöka samma grad av vaksamhet till världen av AI-agenter. Om vi inte kommer före agentimitationen nu, kan vi snart hitta oss själva att prata med en bekant-utseende assistent som arbetar för den andra sidan.