Het oplossen van CAPTCHAs met Machine Learning om onderzoek op het donkere web mogelijk te maken

Een gezamenlijk academisch onderzoeksproject van de Verenigde Staten heeft een methode ontwikkeld om CAPTCHA-tests te omzeilen, waarbij ze volgens rapporten beter presteren dan soortgelijke state-of-the-art machine learning-oplossingen door het gebruik van Generative Adversarial Networks (GANs) om de visueel complexe uitdagingen te decoderen.

Bij het testen van het nieuwe systeem tegen de beste huidige kaders, ontdekten de onderzoekers dat hun methode meer dan 94,4% succes behaalt op een zorgvuldig gecureerd real-world benchmark-dataset en in staat is gebleken om ‘menselijke betrokkenheid te elimineren’ bij het navigeren door een zeer CAPTCHA-beschermd opkomend donker webmarkt, door automatisch CAPTCHA-uitdagingen op te lossen in maximaal drie pogingen.

Werkstroom voor DW-GAN. Bron: https://arxiv.org/pdf/2201.02799.pdf

De auteurs beweren dat hun aanpak een doorbraak vertegenwoordigt voor cybersecurity-onderzoekers, die traditioneel de kosten van het leveren van humans-in-the-loop om CAPTCHAs handmatig op te lossen, meestal via crowdsourcing-platforms zoals Amazon Mechanical Turk (AMT), hebben moeten dragen.

Als het systeem aanpasbaar en veerkrachtig blijkt te zijn, kan het mogelijk de weg vrijmaken voor meer geautomatiseerde toezichtsystemen en voor het indexeren en web-scrappen van TOR-netwerken. Dit kan schaalbare en hoogvolumeanalyses mogelijk maken, evenals de ontwikkeling van nieuwe cybersecurity-benaderingen en -technieken, die tot nu toe zijn gehinderd door CAPTCHA-brandmuren.

Het artikel heeft als titel Counteracting Dark Web Text-Based CAPTCHA with Generative Adversarial Learning for Proactive Cyber Threat Intelligence en komt van onderzoekers aan de University of Arizona, de University of South Florida en de University of Georgia.

Implicaties

Aangezien het systeem – dat Dark Web-GAN (DW-GAN, beschikbaar op GitHub) heet – blijkbaar veel beter presteert dan zijn voorgangers, is er de mogelijkheid dat het zal worden gebruikt als een algemene methode om CAPTCHAs te omzeilen (zowel op het donkere web als op het standaardweb), hetzij in deze specifieke implementatie, hetzij op basis van de algemene principes die in het nieuwe artikel worden uiteengezet. Vanwege de beperkte opslagruimte op GitHub is het op dit moment noodzakelijk om contact op te nemen met de hoofdauteur Ning Zhang om de gegevens die bij het kader horen, te verkrijgen.

Omdat DW-GAN een ‘positieve’ missie heeft om CAPTCHAs te breken (net zoals TOR oorspronkelijk een positieve missie had om militaire communicatie en later journalisten te beschermen), en omdat CAPTCHAs zowel een legitieme verdediging (vaak en omstreden gebruikt door de alomtegenwoordige CDN-reus CloudFlare) als een favoriet hulpmiddel van illegale dark web-markten zijn, is de aanpak een ‘niveleur’-technologie.

De auteurs geven zelf toe dat DW-GAN bredere toepassingen heeft:

‘[Hoewel] deze studie voornamelijk gericht is op dark-web-CAPTCHA als een moeilijker probleem, wordt de voorgestelde methode in deze studie verwacht te zijn toepasbaar op andere soorten CAPTCHA zonder verlies van generaliteit.’

Waarschijnlijk zou DW-GAN, of een soortgelijk systeem, moeten worden verspreid en zichtbaar worden om dark web-markten ertoe aan te zetten minder machine-oplosbare oplossingen te zoeken, of om hun CAPTCHA-configuraties periodiek te laten evolueren, een ‘koude oorlog’-scenario.

Motivaties

Zoals het artikel opmerkt, is het donkere web de primaire bron van hacker-informatie met betrekking tot cyberaanvallen, die worden geschat om de mondiale economie tegen 2025 10 biljoen dollar te kosten. Daarom blijven onion-netwerken een relatief veilige omgeving voor illegale dark net-gemeenschappen, die indringers kunnen afweren met verschillende methoden, waaronder sessietime-outs, cookies en gebruikersauthenticatie.

Twee soorten CAPTCHA, beide met verwarrende achtergronden en scheve lettering om ze minder machine-leesbaar te maken.

Echter, de auteurs merken op, zijn geen van deze obstakels zo groot als de reeks CAPTCHAs die de browservaring in een ‘gevoelige’ gemeenschap onderbreken:

‘Terwijl de meeste van deze maatregelen effectief kunnen worden omzeild door geautomatiseerde tegenmaatregelen te implementeren in een crawler-programma, is CAPTCHA de meest hinderlijke anti-crawling-maatregel in het donkere web die niet gemakkelijk kan worden omzeild vanwege de hoge cognitieve capaciteiten die vaak niet worden bezeten door automatiseringshulpmiddelen’

Tekstgebaseerde CAPTCHAs zijn niet de enige beschikbare optie; er zijn varianten, bekend bij velen van ons, die de gebruiker uitdagen om video, audio en vooral afbeeldingen te interpreteren. Niettemin, zoals de auteurs opmerken, is tekstgebaseerde CAPTCHA momenteel de uitdaging van keuze voor dark web-markten, en een natuurlijk startpunt om TOR-netwerken meer vatbaar te maken voor machine-analyse.

Architectuur

Hoewel een eerdere aanpak van de Northwest University in China Generative Adversarial Networks gebruikte om functiepatronen van CAPTCHA-platforms af te leiden, merken de auteurs van het nieuwe artikel op dat deze methode afhankelijk is van de interpretatie van een gerasterde afbeelding, in plaats van een diepere examinatie van letters die in de uitdaging worden herkend; en dat de effectiviteit van DW-GAN niet wordt beïnvloed door de variabele lengte van nonsenswoorden (en cijfers) die typisch worden aangetroffen in dark web-CAPTCHAs.

DW-GAN gebruikt een vierfasen-pijplijn: eerst wordt de afbeelding vastgelegd en vervolgens doorgegeven aan een achtergrondruisverwijderingsmodule die een GAN gebruikt die is getraind op gemarkeerde CAPTCHA-voorbeelden en dus in staat is om letters van de verstoorde achtergrond te onderscheiden waarop ze rusten. De geëxtraheerde letters worden vervolgens verder gefilterd om eventueel overgebleven ruis te verwijderen na de GAN-gebaseerde extractie.

Vervolgens wordt segmentatie uitgevoerd op de geëxtraheerde tekst, die vervolgens wordt onderverdeeld in wat lijken op constituerende tekens, met behulp van contourdetectie-algoritmen.

Tekenssegmentatie isoleert de pixelfunctie en probeert herkennen met randtraceren.

Tenslotte worden de ‘gegiste’ tekensegmenten onderworpen aan tekenherkenning via een Convolutional Neural Network (CNN).

Soms kunnen tekens overlappen, een hyper-kerning die specifiek is ontworpen om machine-systemen te misleiden. DW-GAN gebruikt daarom interval-gebaseerde segmentatie om randen te versterken en te isoleren, waardoor tekens effectief worden gescheiden. Aangezien de woorden meestal nonsens zijn, is er geen semantische context om bij te dragen aan dit proces.

Resultaten

DW-GAN werd getest tegen CAPTCHA-afbeeldingen uit drie diverse dark web-datasets, evenals een populaire CAPTCHA-synthesizer. De dark markets waar de afbeeldingen vandaan kwamen, bestonden uit twee carding-winkels, Rescator-1 en Rescator-2, en een nieuwe set van een toen opkomende markt genaamd Yellow Brick (die werd gemeld om later te zijn verdwenen na de neergang van DarkMarket).

Voorbeelden van CAPTCHAs uit de drie datasets, evenals de open source CAPTCHA-synthesizer.

Volgens de auteurs werd de gebruikte data aanbevolen door Cyber Threat Intelligence (CTI)-experts op basis van hun brede verspreiding over dark net-markten.

Het testen van elke dataset omvatte de ontwikkeling van een TOR-georiënteerde spider die was belast met het verzamelen van 500 CAPTCHA-afbeeldingen, die vervolgens werden gelabeld en gecureerd door CTI-adviseurs.

Drie experimenten werden ontworpen. Het eerste experiment beoordeelde de algemene CAPTCHA-overwinningsprestaties van DW-GAN tegen standaard SOTA-methoden. De rivaliserende methoden waren afbeeldingsniveau-CNN met voorverwerking, waarbij grayscale-conversie, normalisatie en Gaussian smoothing waren betrokken, een gezamenlijke academische inspanning van Iran en het VK; teken-niveau-CNN met interval-gebaseerde segmentatie; en afbeeldingsniveau-CNN, van de University of Oxford in het VK.

Resultaten van DW-GAN voor het eerste experiment, in vergelijking met eerdere state-of-the-art-benaderingen.

De onderzoekers vonden dat DW-GAN in staat was om de eerdere resultaten te verbeteren (zie bovenstaande tabel).

Het tweede experiment was een afbreukstudie, waarbij verschillende componenten van het actieve kader werden verwijderd of uitgeschakeld om de mogelijkheid uit te sluiten dat externe of secundaire factoren de resultaten beïnvloeden.

Resultaten van de afbreukstudie.

Ook hier vonden de auteurs dat het uitschakelen van sleutelsecties van de architectuur de prestaties van DW-GAN in bijna alle gevallen vermindert (zie bovenstaande tabel).

Het derde offline-experiment vergeleek de effectiviteit van DW-GAN met een benchmark-afbeeldingsmethode en twee teken-niveaubenaderingen, om te bepalen in hoeverre de tekenbeoordeling van DW-GAN zijn nut beïnvloedt in gevallen waarin een nonsens-CAPTCHA-woord een willekeurige (in plaats van vooraf gedefinieerde) lengte heeft. In deze gevallen varieerde de CAPTCHA-lengte tussen 4 en 7 tekens.

Voor dit experiment gebruikten de auteurs een trainingsset van 50.000 CAPTCHA-afbeeldingen, met 5.000 gereserveerd voor testen in een typische 90/10-splitsing.

Ook hier bleek DW-GAN beter te presteren dan eerdere benaderingen:

Live Test op een Dark Net Markt

Tenslotte werd DW-GAN ingezet tegen de (toen live) Yellow Brick dark net-markt. Voor deze test werd een Tor-webbrowser ontwikkeld die DW-GAN in zijn browservoorzieningen integreerde, waardoor CAPTCHA-uitdagingen automatisch konden worden verwerkt.

In deze scenario werd een CAPTCHA aan de geautomatiseerde crawler gepresenteerd voor elke 15 HTTP-verzoeken, gemiddeld. De crawler kon 1.831 illegale artikelen indexeren die te koop werden aangeboden in Yellow Brick, waaronder 1.223 drug-gerelateerde producten (inclusief opioids en cocaïne), 44 hack-pakketten en negen vervalste document-scans. In totaal kon het systeem 286 cybersecurity-gerelateerde artikelen identificeren, waaronder 102 gestolen creditcards en 131 gestolen accountlogins.

De auteurs verklaren dat DW-GAN in alle gevallen in staat was om een CAPTCHA te kraken in drie of minder pogingen, en dat 76 minuten verwerkingstijd nodig waren om rekening te houden met CAPTCHAs die alle 1.831 producten beschermden. Geen mensen hoefden tussenbeide te komen, en er deden zich geen eindpuntfalen-gevallen voor.

De auteurs merken op dat er uitdagingen opduiken die een groter niveau van sofisticatie bieden dan tekst-CAPTCHAs, waaronder enkele die lijken te zijn gemodelleerd naar Turing-tests, en observeren dat DW-GAN kan worden verbeterd om deze nieuwe trends te accommoderen zodra ze populair worden.

*Completely Automated Public Turing test to tell Computers and Humans Apart

Eerst gepubliceerd op 11 januari 2022.