Å løse CAPTCHAs med maskinlæring for å aktivere mørk nett-forskning

Et felles akademisk forskningsprosjekt fra USA har utviklet en metode for å narre CAPTCHA-prøver, og hevder å overstige lignende statlige maskinlæringsløsninger ved å bruke Generative Adversarial Networks (GANs) til å dekode visuelt komplekse utfordringer.

Under testing av det nye systemet mot de beste nåværende rammeverkene, fant forskerne at deres metode oppnår mer enn 94,4 % suksess på en omsorgsfullt kurert virkelig benchmark-datasett, og har vist seg å være i stand til å “eliminere menneskelig innblanding” når det gjelder å navigere en høyt CAPTCHA-beskyttet fremvoksende mørk nett-markedsplads, automatisk løsning CAPTCHA-utfordringer på maksimalt tre forsøk.

Arbeidsflyt for DW-GAN. Kilde: https://arxiv.org/pdf/2201.02799.pdf

Forfatterne hevder at deres tilnærming representerer en gjennombrudd for cybersecurity-forskere, som tradisjonelt har måttet bære kostnadene med å forsyne mennesker i løkken for å manuelt løse CAPTCHAs, vanligvis via crowdsourcing-plattformer som Amazon Mechanical Turk (AMT).

Hvis systemet kan vise seg å være tilpasningsdyktig og motstandsdyktig, kan det videre åpne veien for mer automatiserte overvåkningssystemer, og for indeksering og web-scraping av TOR-nettverk. Dette kan muliggjøre skalerbare og høyvolumenanalyser, samt utvikling av nye cybersecurity-tilnærminger og -teknikker, som har vært hemmet, til nå, av CAPTCHA-brannmurer.

Den artikkelen har tittelen Counteracting Dark Web Text-Based CAPTCHA with Generative Adversarial Learning for Proactive Cyber Threat Intelligence, og kommer fra forskere ved University of Arizona, University of South Florida og University of Georgia.

Konsekvenser

Siden systemet – kalt Dark Web-GAN (DW-GAN, tilgjengelig på GitHub) – tilsynelatende er så mye mer performant enn sine forgjengere, er det mulig at det vil bli brukt som en generell metode for å overvinne (vanligvis mindre vanskelige) CAPTCHA-materiale på standard nettet, enten i denne spesifikke implementeringen eller basert på de generelle prinsippene som den nye artikkelen beskriver. På grunn av begrensede lagringsplass på GitHub, er det imidlertid nå nødvendig å kontakte hovedforfatteren Ning Zhang for å få tak i dataene som er knyttet til rammeverket.

Fordi DW-GAN har en ‘positiv’ misjon for å bryte CAPTCHAs (likesom TOR selv opprinnelig hadde en positiv misjon for å beskytte militærkommunikasjon og, senere, journalister), og fordi CAPTCHAs både er en legitim forsvarsmekanisme (ofte og kontroversielt brukt av ubikkvit CDN-gigant CloudFlare) og et favorittverktøy for ulovlige mørk nett-markedspladser, er tilnærmingen trolig en ‘nivelleringsteknologi’.

Forfatterne selv innrømmer at DW-GAN har videre anvendelser:

‘[ Mens] denne studien hovedsakelig fokuserer på mørk nett-CAPTCHA som et mer utfordrende problem, er den foreslåtte metoden i denne studien forventet å være anvendelig på andre typer CAPTCHA uten tap av generellhet.’

Det er antagelig at DW-GAN, eller et lignende system, ville trenge å bli vidt og åpenbart diffusert for å få mørk nett-markedspladser til å søke mindre maskinløselige løsninger, eller å utvikle sine CAPTCHA-konfigurasjoner periodisk, en ‘kald krig’-scenario.

Motivasjoner

Som artikkelen observerer, er mørk nettet det primære kilden til hacker-intelligens i forbindelse med cyberangrep, som estimeres å koste den globale økonomien 10 billioner USD innen 2025. Derfor forblir onion-nettverk en relativt trygg miljø for ulovlige mørk nett-samfunn, som kan avvise inntrengere ved ulike metoder, inkludert sesjonsutløp, informasjonskapsler og brukerautentisering.

To typer CAPTCHA, begge med forvrengte bakgrunner og skjeve bokstaver for å gjøre dem mindre maskinleselige.

Likevel observerer forfatterne at ingen av disse hindringene er så store som mengden CAPTCHAs som punkterer browsing-erfaringen i et ‘sensitivt’ samfunn:

‘Mens de fleste av disse tiltakene kan være effektivt omgått ved å implementere automatiserte mottiltak i en crawler-program, er CAPTCHA det mest hindrende anti-crawling-målet på mørk nettet som ikke kan være lett omgått på grunn av høye kognitive evner som ofte ikke er til stede i automatiseringsverktøy.’

Tekst-basert CAPTCHA er ikke den eneste tilgjengelige valgmulighet; det finnes varianter, kjent for mange av oss, som utfordrer brukeren til å tolke video, lyd og spesielt bilder. Likevel, som forfatterne observerer, er tekst-basert CAPTCHA for tiden utfordringen av valg for mørk nett-markedspladser, og en naturlig utgangspunkt for å gjøre TOR-nettverk mer utsatt for maskinanalyse.

Arkitektur

Selv om en tidligere tilnærming fra Northwest University i Kina brukte Generative Adversarial Networks for å avlede funksjonsmønster fra CAPTCHA-plattformer, observerer forfatterne av den nye artikkelen at denne metoden avhenger av tolkning av en rasterisert bilde, snarere enn en dypere undersøkelse av bokstaver gjenkjent i utfordringen; og at DW-GANs effektivitet ikke påvirkes av den variable lengden på nonsens-ord (og tall) som vanligvis finnes i mørk nett-CAPTCHAs.

DW-GAN bruker en fire-trinns pipeline: først blir bildet fanget, og deretter matet til en bakgrunns-støy-reduksjonsmodul som bruker en GAN som er trent på annoterte CAPTCHA-eksempler, og derfor kan skille bokstaver fra den forstyrrede bakgrunnen de hviler på. De uttrukne bokstavene blir deretter ytterligere filtrert ut fra eventuell støy etter GAN-basert uttrekk.

Deretter utføres segmentering på den uttrukne teksten, som deretter brytes ned i hva som ser ut til å være bestandige tegn, ved hjelp av kontur-deteksjonsalgoritmer.

Tegn-segmentering isolerer piksel-gruppen og forsøker å gjenkjenne med border-sporing.

Til slutt blir de ‘gjettede’ tegn-segmentene underlagt tegn-gjenkjenning via en Convolutional Neural Network (CNN).

Noen ganger kan tegn overlappe, en hyper-kerning som er spesielt designet for å narre maskin-systemer. DW-GAN bruker derfor interval-basert segmentering for å forbedre og isolere grenser, effektivt skille tegn.

Resultater

DW-GAN ble testet mot CAPTCHA-bilder fra tre ulike mørk nett-datasett, samt en populær CAPTCHA-syntetisator. De mørk nett-markedspladser som bildene kom fra, bestod av to carding-butikker, Rescator-1 og Rescator-2, og en ny samling fra en fremvoksende markedsplads kalt Yellow Brick (som ble rapportert å ha forsvunnet senere i kjølvannet av nedleggelsen av DarkMarket).

Eksempler på CAPTCHAs fra de tre datasettene, samt den åpne kilde-kode CAPTCHA-syntetisatoren.

Ifølge forfatterne var dataene som ble brukt i testing anbefalt av Cyber Threat Intelligence (CTI)-eksperter basert på deres vide utbredelse over mørk nett-markedspladser.

Testing av hvert datasett involverte utviklingen av en TOR-orientert spider som samlet inn 500 CAPTCHA-bilder, som deretter ble merket og kurert av CTI-rådgivere.

Tre eksperimenter ble utformet. Det første evaluerte den generelle CAPTCHA-utfordringen til DW-GAN mot standard SOTA-metoder. De rivaliserende metodene var bilde-nivå CNN med forbehandling, som inkluderte gråskala-omvandling, normalisering og Gaussisk glattning, et felles akademisk forsøk fra Iran og Storbritannia; tegn-nivå CNN med interval-basert segmentering; og bilde-nivå CNN, fra University of Oxford i Storbritannia.

Resultater fra DW-GAN for det første eksperimentet, sammenlignet med tidligere statlige kunstige intelligens-tilnærminger.

Forskerne fant at DW-GAN var i stand til å forbedre tidligere resultater over hele linjen (se tabell ovenfor).

Det andre eksperimentet var en ablasjonsstudie, hvor ulike komponenter av det aktive rammeverket ble fjernet eller deaktivert for å diskvalifisere muligheten for at eksterne eller sekundære faktorer påvirker resultatene.

Resultater fra ablasjonsstudien.

Også her fant forfatterne at deaktivering av nøkkelkomponenter i arkitekturen reduserte DW-GANs ytelse i nesten alle tilfeller (se tabell ovenfor).

Det tredje offline-eksperimentet sammenlignet effikasiteten til DW-GAN mot en benchmark-bilde-basert metode og to tegn-nivå-metoder, for å bestemme i hvilken grad DW-GANs tegn-vurdering påvirkte dets nytte i tilfeller hvor et nonsens-CAPTCHA-ord var et arbitrært (snarere enn forhåndsbestemt) lengde. I disse tilfellene varierte CAPTCHA-lengden mellom 4 og 7 tegn.

I dette eksperimentet brukte forfatterne et treningssett på 50 000 CAPTCHA-bilder, med 5 000 reservert for testing i en typisk 90/10-split.

Også her overgikk DW-GAN tidligere tilnærminger:

Live Test på en Mørk Nett-markedsplads

Til slutt ble DW-GAN deployert mot den (da aktive) Yellow Brick mørk nett-markedspladsen. For dette testet ble en TOR-vevenettleser utviklet som integrerte DW-GAN i sine browsing-kapabiliteter, automatisk parsning CAPTCHA-utfordringer.

I denne scenariet ble en CAPTCHA presentert til den automatiserte crawleren for hver 15. HTTP-forespørsel, i gjennomsnitt. Crawleren var i stand til å indeksere 1 831 ulovlige varer til salgs i Yellow Brick, inkludert 1 223 stoff-relaterte produkter (inkludert opioider og kokain), 44 hacking-pakker og ni falske dokument-scanner. I alt var systemet i stand til å identifisere 286 cybersecurity-relaterte varer, inkludert 102 stjålne kredittkort og 131 stjålne konto-innloggingsopplysninger.

Forfatterne påstår at DW-GAN var i stand til å knekke en CAPTCHA på tre eller færre forsøk, og at 76 minutters prosesseringstid var nødvendig for å regne med CAPTCHAs som voktet alle 1 831 produkter. Ingen mennesker var nødvendig for å gripe inn, og ingen endpoint-feiltilfeller inntraff.

Forfatterne bemerker oppblomstringen av utfordringer som tilbyr en høyere grad av sofistikasjon enn tekst-CAPTCHAs, inkludert noen som ser ut til å være modellert etter Turing-tester, og observerer at DW-GAN kunne bli forbedret for å tilpasse seg disse nye trendene når de blir populære.

*Completely Automated Public Turing test to tell Computers and Humans Apart

Først publisert 11. januar 2022.