Att lösa CAPTCHAs med maskinlärande för att möjliggöra forskning på dark web

Ett gemensamt akademiskt forskningsprojekt från USA har utvecklat en metod för att kringgå CAPTCHA-tester, som rapporteras överträffa liknande state-of-the-art maskinlärande lösningar genom att använda generativa adversariella nätverk (GAN) för att dekodera visuellt komplexa utmaningar.

Vid testning av det nya systemet mot de bästa nuvarande ramverken fann forskarna att deras metod uppnår mer än 94,4% framgång på en noggrant kuraterad realvärldens benchmark-dataset, och har visat sig kunna “eliminera mänskligt ingripande” när det gäller att navigera på en högt CAPTCHA-skyddad ny dark net-marknad, automatiskt löser CAPTCHA-utmaningar på maximalt tre försök.

Arbetsflöde för DW-GAN. Källa: https://arxiv.org/pdf/2201.02799.pdf

Författarna hävdar att deras tillvägagångssätt representerar ett genombrott för cybersäkerhetsforskare, som traditionellt har varit tvungna att bära kostnaderna för att förse mänskliga resurser för att manuellt lösa CAPTCHAs, vanligtvis via crowdsourcing-plattformar som Amazon Mechanical Turk (AMT).

Om systemet kan visa sig vara anpassningsbart och motståndskraftigt, kan det ytterligare bana väg för mer automatiserad övervakning, och för indexering och webbskrapning av TOR-nätverk. Detta kan möjliggöra skalbara och högvolymsanalyser, samt utveckling av nya cybersäkerhetsmetoder och tekniker, som har hindrats av CAPTCHA-brandväggar.

Den artikeln heter Counteracting Dark Web Text-Based CAPTCHA with Generative Adversarial Learning for Proactive Cyber Threat Intelligence, och kommer från forskare vid University of Arizona, University of South Florida och University of Georgia.

Konsekvenser

Eftersom systemet – som kallas Dark Web-GAN (DW-GAN, tillgänglig på GitHub) – tydligen är så mycket mer presterande än sina föregångare, finns det en möjlighet att det kommer att användas som en allmän metod för att övervinna (vanligtvis mindre svåra) CAPTCHA-material på standardwebben, antingen i denna specifika implementation eller baserat på de allmänna principer som den nya artikeln beskriver. På grund av begränsad lagring på GitHub är det dock för närvarande nödvändigt att kontakta den ledande författaren Ning Zhang för att få tillgång till data associerad med ramverket.

Eftersom DW-GAN har en “positiv” mission för att bryta CAPTCHAs (liksom TOR själv ursprungligen hade en positiv mission för att skydda militär kommunikation och senare journalister), och eftersom CAPTCHAs är både en legitim försvar (ofta och kontroversiellt används av den allmänt förekommande CDN-jätten CloudFlare) och ett favoritverktyg för olagliga dark web-marknader, är tillvägagångssättet i och för sig en “nivellerings”-teknologi.

Författarna medger själva att DW-GAN har bredare användningsområden:

‘[Medan] denna studie främst fokuserar på dark-web CAPTCHA som ett mer utmanande problem, förväntas den föreslagna metoden i denna studie vara tillämplig på andra typer av CAPTCHA utan att förlora generell tillämpbarhet.’

Förmodligen skulle DW-GAN, eller ett liknande system, behöva bli allmänt och uppenbart spritt för att provocera dark web-marknader att söka mindre maskinlösliga lösningar, eller åtminstone för att utveckla sina CAPTCHA-konfigurationer periodvis, ett “kallt krig”-scenario.

Motivationer

Som artikeln observerar är dark web den primära källan till hackarintelligens relaterad till cyberattacker, som beräknas kosta den globala ekonomin 10 biljoner USD till 2025. Därför förblir onion-nätverk en relativt säker miljö för olagliga dark net-samhällen, som kan avvisa oönskade besökare med olika metoder, inklusive sessioner som går ut, cookies och användarautentisering.

Två typer av CAPTCHA, båda med suddiga bakgrunder och sneda bokstäver för att göra dem mindre maskinläsbara.

Men författarna observerar att ingen av dessa hinder är så stora som den mängd CAPTCHAs som punkterar surfupplevelsen i en “känslig” gemenskap:

‘Medan de flesta av dessa åtgärder kan kringgås effektivt genom att implementera automatiserade motåtgärder i ett sökrobotprogram, är CAPTCHA det mest hindrande åtgärden mot automatiserad insamling i dark web som inte kan kringgås lätt på grund av höga kognitiva förmågor som ofta inte besitts av automatiseringsverktyg’

Textbaserade CAPTCHAs är inte det enda tillgängliga alternativet; det finns varianter, bekanta för många av oss, som utmanar användaren att tolka video, ljud och särskilt bilder. Trots det, som författarna observerar, är textbaserad CAPTCHA för närvarande utmaningen som väljs för dark web-marknader, och en naturlig utgångspunkt för att göra TOR-nätverk mer mottagliga för maskinanalys.

Arkitektur

Även om en tidigare metod från Northwest University i Kina använde Generativa Adversarial Networks för att härleda egenskapsmönster från CAPTCHA-plattformar, noterar författarna till den nya artikeln att denna metod förlitar sig på tolkning av en rasteriserad bild, snarare än en djupare undersökning av igenkända bokstäver i utmaningen; och att DW-GANs effektivitet inte påverkas av den variabla längden på nonsensord (och tal) som vanligtvis finns i dark web CAPTCHAs.

DW-GAN använder en fyra-stegs-pipeline: först fångas bilden, och sedan matas den till en bakgrundsrensmodul som använder en GAN som har tränats på annoterade CAPTCHA-exempel, och är därför i stånd att skilja bokstäver från den störda bakgrunden som de vilar på. De extraherade bokstäverna rensas sedan från eventuellt kvarvarande brus efter GAN-baserad extraktion.

Därefter utförs segmentering på den extraherade texten, som sedan bryts ned i vad som verkar vara beståndsdelar, med hjälp av konturdetekteringsalgoritmer.

Teckensegmentering isolerar pixellgruppen och försöker känna igen med kanter.

Till slut är de “gissade” teckensegmenten föremål för teckenigenkänning via ett Convolutional Neural Network (CNN).

Ibland kan tecken överlappa, en hyper-kärning som är särskilt utformad för att lura maskinsystem. DW-GAN använder därför intervalbaserad segmentering för att förbättra och isolera gränser, effektivt separerar tecken. Eftersom orden vanligtvis är nonsens, finns det ingen semantisk kontext som kan underlätta denna process.

Resultat

DW-GAN testades mot CAPTCHA-bilder från tre olika dark web-dataset, samt en populär CAPTCHA-syntetisator. De darka marknaderna som bilderna kom från bestod av två kortsäljare, Rescator-1 och Rescator-2, och en ny uppsättning från en då ny marknad som kallades Yellow Brick (som rapporterades ha försvunnit senare i kölvattnet av DarkMarkets nedläggning).

Exempel på CAPTCHAs från de tre dataseten, samt den öppna källkods-CAPTCHA-syntetisatorn.

Enligt författarna var data som användes vid testningen rekommenderad av Cyber Threat Intelligence (CTI)-experter baserat på deras breda spridning över dark net-marknader.

Testning av varje dataset innebar utveckling av en TOR-vänd spider som samlade in 500 CAPTCHA-bilder, som sedan etiketterades och kuraterades av CTI-rådgivare.

Tre experiment utfördes. Det första utvärderade den allmänna CAPTCHA-övervinnande prestandan för DW-GAN mot standard SOTA-metoder. De rivaliserande metoderna var bildnivå-CNN med förbearbetning, som innefattade omvandling till gråskala, normalisering och gaussisk utjämning, ett gemensamt akademiskt företag från Iran och Storbritannien; tecken-nivå-CNN med intervalbaserad segmentering; och bildnivå-CNN, från University of Oxford i Storbritannien.

Resultat från DW-GAN för det första experimentet, jämfört med tidigare state-of-the-art-ansatser.

Forskarna fann att DW-GAN kunde förbättra tidigare resultat över hela linjen (se tabell ovan).

Det andra experimentet var en ablationsstudie, där olika komponenter i det aktiva ramverket togs bort eller inaktiverades för att utesluta möjligheten att yttre eller sekundära faktorer påverkar resultaten.

Resultat från ablationsstudien.

Även här fann författarna att inaktivering av nyckelavsnitt i arkitekturen minskade prestandan för DW-GAN i nästan alla fall (se tabell ovan).

Det tredje offline-experimentet jämförde effikaciteten hos DW-GAN mot en benchmark-bildbaserad metod och två tecken-nivåmetoder, för att bestämma i vilken utsträckning DW-GANs teckenutvärdering påverkade dess användbarhet i fall där ett nonsens-CAPTCHA-ord var en godtycklig (snarare än fördefinierad) längd. I dessa fall varierade CAPTCHA-längden mellan 4 till 7 tecken.

För detta experiment använde författarna en träningsuppsättning på 50 000 CAPTCHA-bilder, med 5 000 reserverade för testning i en typisk 90/10-delning.

Även här överträffade DW-GAN tidigare ansatser:

Realtidstest på en marknad på darknet

Till slut testades DW-GAN mot den då levande Yellow Brick dark net-marknaden. För detta test utvecklades en TOR-vänd webbläsare som integrerade DW-GAN i dess surfegenskaper, automatiskt tolkade CAPTCHA-utmaningar.

I detta scenario presenterades en CAPTCHA för den automatiserade crawlingen för var 15:e HTTP-förfrågan i genomsnitt. Crawlingen kunde indexera 1 831 olagliga artiklar till salu i Yellow Brick, inklusive 1 223 drogrelaterade produkter (inklusive opioider och kokain), 44 hackpaket och nio skanningar av förfalskade dokument. Totalt kunde systemet identifiera 286 cybersäkerhetsrelaterade artiklar, inklusive 102 stulna kreditkort och 131 stulna kontoinloggningar.

Författarna påstår att DW-GAN i alla fall kunde knäcka en CAPTCHA på tre eller färre försök, och att 76 minuters bearbetningstid var nödvändig för att hantera CAPTCHAs som skyddade alla 1 831 produkter. Inga människor behövde ingripa, och inga fall av slutpunktsfel inträffade.

Författarna noterar uppkomsten av utmaningar som erbjuder en högre nivå av sofistikering än textbaserade CAPTCHAs, inklusive några som verkar vara modellerade efter Turing-tester, och observerar att DW-GAN kunde förbättras för att anpassa sig till dessa nya trender när de blir populära.

*Completely Automated Public Turing test to tell Computers and Humans Apart

Publicerad första gången den 11 januari 2022.