Thought leaders

Het echte gevaar van taalmodellen: AI-gepowered scams

mm
Voeg Unite.AI toe aan je voorkeursbronnen op Google

Stel je dit voor: je bent op het werk, gefocust op een strakke deadline, als je een telefoontje krijgt van wat lijkt op het telefoonnummer van je moeder. De stem aan de andere kant is onmiskenbaar de hare, kalm en liefdevol, maar met een ongebruikelijke hint van urgentie. Ze vertelt je dat ze in ernstige problemen is gekomen tijdens een vakantie in Parijs en onmiddellijk financiële hulp nodig heeft om de zaken te regelen. Je weet dat ze in Parijs is, en de details die ze verstrekt, tot de naam van haar hotel, maken het telefoontje nog overtuigender. Zonder een tweede gedachte stort je het geld over, om later te ontdekken dat je moeder nooit dat telefoontje heeft gepleegd; het was een geavanceerd AI-systeem dat perfect haar stem nadeed en een gedetailleerd scenario fabriceerde. Rillingen lopen over je ruggengraat als je beseft wat er net is gebeurd.

Dit scenario, ooit pure science fiction, is nu een opkomende realiteit. De dageraad van AI-technologieën zoals grote taalmodellen (LLM’s) heeft ongelooflijke vooruitgang gebracht. Echter, een aanzienlijke bedreiging dreigt: AI-gepowered scams. Het potentieel voor geavanceerde scams die worden aangedreven door kunstmatige intelligentie is een geheel nieuw gevaar aan de horizon van technologische vooruitgang. Terwijl telefoonscams al een zorg zijn sinds de uitvinding van de telefoon, heeft de brede integratie van grote taalmodellen (LLM’s) in elk facet van digitale communicatie de inzet dramatisch verhoogd. Terwijl we de potentie van AI omarmen, is het cruciaal dat we ook onze verdedigingen tegen deze steeds geavanceerdere bedreigingen versterken.

Huidige landschap van telefoonscams

Criminelen hebben al jaren geprobeerd onschuldige individuen te misleiden om geld over te maken of gevoelige informatie te onthullen, maar ondanks de prevalentie van telefoonscams, zijn veel van deze scams relatief ongeavanceerd, afhankelijk van menselijke operators die scripts voorlezen. Echter, zelfs met deze beperking, blijven telefoonscams een winstgevende criminele onderneming.

Volgens de US Federal Trade Commission, verloren Amerikanen in 2022 alleen al meer dan $8,8 miljard aan fraude, waarvan een aanzienlijk deel werd toegeschreven aan telefoonscams, wat betekent dat zelfs in hun huidige, minder geavanceerde vorm, veel van deze tactieken nog steeds werken op kwetsbare individuen. Wat gebeurt er als ze evolueren?

De AI-gepowered toekomst van scams

Het landschap van telefoonscams staat op het punt van een dramatische verschuiving met de komst van verschillende sleuteltechnologieën:

Grote taalmodellen (LLM’s)

Deze AI-systemen kunnen mensachtige tekst genereren en deelnemen aan natuurlijke conversaties. Wanneer toegepast op scammen, kunnen LLM’s zeer overtuigende en adaptieve scripts creëren, waardoor het veel moeilijker wordt voor potentiële slachtoffers om de scam te identificeren.

Retrieval-Augmented Generation (RAG)

Deze technologie stelt LLM-systemen in staat om toegang te krijgen tot en gebruik te maken van enorme hoeveelheden informatie in real-time. Scammers kunnen een profiel van een persoon opbouwen op basis van hun openbaar beschikbare informatie, zoals hun sociale accounts. Ze kunnen ook sociale-engineeringtechnieken gebruiken op hun vrienden en familieleden om dieper informatie te verzamelen. Dit geeft hen toegang tot informatie zoals de identiteit van het doelwit, werkgegevens of recente activiteiten. Ze kunnen vervolgens RAG gebruiken om LLM’s de context te geven die nodig is, waardoor hun benaderingen zeer persoonlijk en legitiem lijken.

Synthetische audiogeneratie

Platforms zoals Resemble AI en Lyrebird zijn leidende bedrijven in het creëren van zeer realistische AI-gegenereerde stemmen. Deze technologieën zijn in staat om persoonlijke, mensachtige audio te produceren, die kan worden gebruikt in verschillende toepassingen, variërend van virtuele assistenten tot geautomatiseerde klantenservice en contentcreatie. Bedrijven zoals ElevenLabs duwen de grenzen verder door gebruikers in staat te stellen synthetische stemmen te creëren die hun eigen stem nauwkeurig kunnen repliceren, waardoor een nieuw niveau van personalisatie en betrokkenheid in digitale interacties mogelijk wordt.

Synthetische videogeneratie

Bedrijven zoals Synthesia demonstreren al het potentieel voor het creëren van realistische video-inhoud met AI-gegenereerde avatars. In de komende jaren kan deze technologie scammers in staat stellen om vrienden of familieleden te imiteren of geheel fictieve personages te creëren voor video-gesprekken, waardoor een eerder onmogelijk niveau van fysieke realiteit aan de scam wordt toegevoegd.

AI-lip-syncing

Startups zoals Sync Labs ontwikkelen geavanceerde lip-syncing-technologie die gegenereerde audio kan koppelen aan video-opnames. Dit kan worden gebruikt om zeer overtuigende deep-fake-video’s van historische figuren, politici, beroemdheden en praktisch iedereen te creëren, waardoor de grens tussen realiteit en bedrog nog verder vervaagt.

De combinatie van deze technologieën schildert een tamelijk verontrustend beeld. Stel je een scam-telefoontje voor waarbij de AI zijn conversatie in real-time kan aanpassen, gewapend met persoonlijke informatie over het doelwit, en zelfs kan overgaan op een video-gesprek met een ogenschijnlijk echte persoon wiens lippen perfect synchroon bewegen met de gegenereerde stem. Het potentieel voor bedrog is werkelijk enorm.

De noodzaak voor verbeterde beveiligingsmaatregelen

Terwijl deze AI-gepowered scams steeds geavanceerder worden, moeten methoden voor het verifiëren van identiteit en authenticiteit concurreren met de AI-vooruitgang. Er moeten zowel regelgevende als technologische vooruitgangen zijn om de online wereld veilig te houden.

Regelgevende verbeteringen

Strikkere wetten voor gegevensbescherming: Het implementeren van strikkere wetten voor gegevensbescherming zou de hoeveelheid persoonlijke informatie die voor scammers beschikbaar is, beperken. Deze wetten zouden strikkere vereisten voor gegevensverzameling, verbeterde gebruikersovereenkomsten en zwaardere straffen voor gegevenslekken kunnen omvatten.

Private Cloud voor de meest krachtige AI-modellen: Regelgeving kan bepalen dat de meest krachtige AI-modellen op private, beveiligde cloud-infrastructuur worden gehost in plaats van openbaar beschikbaar te zijn. Dit zou de toegang tot de meest geavanceerde technologieën beperken, waardoor het moeilijker wordt voor kwaadwillige actoren om ze voor scams te gebruiken. (bijv. https://security.apple.com/blog/private-cloud-compute/)

Internationale samenwerking op het gebied van AI-regelgeving: Gezien de mondiale aard van AI-technologie, kan internationale samenwerking op het gebied van regelgevingsstandaarden nuttig zijn. Het opzetten van een mondiale instantie die verantwoordelijk is voor het creëren en afdwingen van internationale AI-regelgeving, kan helpen bij het aanpakken van grensoverschrijdende AI-gerelateerde misdrijven.

Publieke bewustmakingscampagnes: Overheden en regelgevende instanties moeten investeren in publieke bewustmakingscampagnes om burgers te informeren over de potentiële risico’s van AI-scams en hoe ze zichzelf kunnen beschermen. Bewustzijn is een kritische eerste stap in het empoweren van individuen en organisaties om noodzakelijke beveiligingsmaatregelen te implementeren.

Huidige AI-regelgeving is onvoldoende om scams te voorkomen, en de uitdaging van toekomstige regelgeving wordt verergerd door de open-source-aard van veel krachtige technologieën. Deze openheid stelt iedereen in staat om toegang te krijgen tot en deze technologieën te modificeren voor hun eigen doeleinden. Als gevolg hiervan zijn, naast strengere regelgeving, vooruitgangen in beveiligingstechnologie nodig.

Synthetische gegevensdetectie

Synthetische audiodetectie: Terwijl scammers AI gebruiken, moeten onze verdedigingen dit ook doen. Bedrijven zoals Pindrop ontwikkelen AI-gepowered systemen die synthetische audio in real-time tijdens telefoongesprekken kunnen detecteren. Hun technologie analyseert meer dan 1.300 kenmerken van een telefoongesprek om te bepalen of het afkomstig is van een echte persoon of een geavanceerd AI-systeem.

Synthetische videodetectie: Synthetische videodetectie: Net zoals audio kan worden gemanipuleerd door AI, kan video dit ook. Bedrijven zoals Deepware zijn leidende ontwikkelaars van technologieën om synthetische video te detecteren. Deepware’s platform gebruikt geavanceerde machine learning-algoritmen om subtiele inconsistenties in videodata te analyseren, zoals onnatuurlijke bewegingen, onregelmatige verlichting en pixelfouten die vaak aanwezig zijn in AI-gegenereerde inhoud. Door deze afwijkingen te identificeren, kan Deepware’s technologie bepalen of een video echt is of is gemanipuleerd, waardoor individuen en organisaties worden beschermd tegen geavanceerde video-gebaseerde scams en desinformatiecampagnes.

Identificatie- en authenticatievooruitgang

Er worden verschillende manieren ontwikkeld om de identiteit van een gebruiker te verifiëren en een of meer van deze zullen in de komende jaren mainstream worden om het internet veiliger te maken.

Tweestapsauthenticatie voor remote-conversaties: Tweefactorauthenticatie (2FA) blijft een fundamenteel onderdeel van beveiligde communicatie. Onder deze methode zou elk telefoongesprek of e-mail een unieke verificatiecode via SMS triggeren, vergelijkbaar met huidige e-mailaanmeldingen. Hoewel 2FA effectief is voor basisauthenticatie, betekent het beperkte karakter ervan dat het niet in alle contexten kan worden vertrouwd, waardoor de ontwikkeling van geavanceerdere methoden noodzakelijk is om alomvattende internetveiligheid te garanderen die op de achtergrond kan werken.

Gedragsgebaseerde multifactorauthenticatie: Verdergaand dan alleen het verifiëren van identiteit aan het begin van een gesprek, kunnen toekomstige beveiligingssystemen het gedrag van een gebruiker continu analyseren tijdens een interactie. Bedrijven zoals BioCatch gebruiken gedragsbiometrie om gebruikersprofielen te creëren op basis van hoe individuen met hun apparaten omgaan. Deze technologie kan afwijkingen in gedrag detecteren die zouden kunnen aangeven dat een scammer gestolen informatie gebruikt, zelfs als ze de initiële authenticatiecontroles hebben doorstaan.

Biometrie-gebaseerde authenticatie: Bedrijven zoals Onfido zijn voorlopers in biometrische verificatietechnologie, waarbij AI-gepowered identificatiehulpmiddelen worden aangeboden die geavanceerde deep-fakes en andere vormen van identiteitsfraude kunnen detecteren. Hun systeem gebruikt een combinatie van documentverificatie en biometrische analyse om te garanderen dat de persoon aan de andere kant van een telefoongesprek of videochat echt is wie hij beweert te zijn.

Geavanceerde kennisgebaseerde authenticatie: Toekomstige authenticatiesystemen kunnen dynamische, AI-gegenereerde vragen omvatten op basis van een gebruikers digitale voetafdruk en recente activiteiten. Bijvoorbeeld, Prove, een bedrijf dat zich specialiseert in telefoon-georiënteerde identiteit, ontwikkelt oplossingen die telefoongegevens en gedragsanalyse gebruiken om identiteiten te verifiëren. Hun technologie kan patronen in het gebruik van een apparaat analyseren om een unieke “identiteitssignatuur” te creëren die moeilijker voor scammers is na te bootsen.

Blockchain-gebaseerde identificatieverificatie: Blockchain-technologie biedt een gedecentraliseerde en onveranderlijke methode voor identificatieverificatie. Bedrijven zoals Civic zijn pioniers in blockchain-gebaseerde identificatiesystemen die gebruikers in staat stellen hun persoonlijke informatie te controleren en tegelijkertijd veilige authenticatie te bieden. Deze systemen creëren een verifieerbaar, onveranderlijk record van een persoons identiteit, ideaal voor het beheren van hoge-risicotransacties.

Conclusie

De convergentie van LLM’s, RAG, synthetische audiogeneratie, synthetische videogeneratie en lip-syncing-technologie is een tweesnijdend zwaard. Terwijl deze vooruitgang een enorm potentieel voor positieve toepassingen heeft, houdt het ook aanzienlijke risico’s in als het wordt misbruikt door scammers.

Deze voortdurende strijd tussen beveiligingsexperts en cybercriminelen benadrukt de noodzaak voor continue innovatie en waakzaamheid op het gebied van digitale beveiliging. We kunnen alleen de voordelen van deze krachtige instrumenten benutten en hun potentieel voor schade mitigeren door deze risico’s te erkennen en ons daarop voor te bereiden.

Alomvattende regelgeving, onderwijs over deze nieuwe vormen van scams, investeringen in geavanceerde beveiligingsmaatregelen en, misschien wel het belangrijkste, een gezonde dosis scepsis van elk van ons bij het omgaan met onbekende entiteiten online of via de telefoon, zal essentieel zijn om deze nieuwe landschap te navigeren.

Rishab Mehra is de CTO en mede-oprichter van Pinnacle, een disruptieve AI-startup in de Mental Performance Space. Met een diepe achtergrond in computer vision en machine learning, brengt Rishab een grote hoeveelheid ervaring mee in het veld van artificial intelligence.

Rishab's carrière omvat uitgebreid onderzoek in computer vision voor de gezondheidszorg aan de Stanford University onder de begeleiding van de bekende AI-expert Fei-Fei Li. Zijn werk is gepubliceerd in prestigieuze tijdschriften zoals Nature en NeurIPS. Voordat hij Pinnacle oprichtte, leidde Rishab de ontwikkeling van functies voor Apple Intelligence en On-device Machine Learning bij Apple, waar hij meer dan 20 octrooien aanvroeg.

Als afgestudeerde van Stanford met een eregraad in Computer Science, heeft Rishab met succes een pre-seed financieringsronde opgehaald voor Pinnacle Intelligence.