Lösen von CAPTCHAs mit maschinellem Lernen, um Dark-Web-Forschung zu ermöglichen

Ein gemeinsames akademisches Forschungsprojekt aus den Vereinigten Staaten hat eine Methode zur Umgehung von CAPTCHA*-Tests entwickelt, die Berichten zufolge ähnliche hochmoderne Lösungen für maschinelles Lernen durch den Einsatz von Generative Adversarial Networks übertrifft (GANs), um die visuell komplexen Herausforderungen zu entschlüsseln.

Beim Testen des neuen Systems anhand der besten aktuellen Frameworks stellten die Forscher fest, dass ihre Methode bei einem sorgfältig zusammengestellten realen Benchmark-Datensatz eine Erfolgsquote von über 94.4 % erreicht und sich als in der Lage erwiesen hat, „menschliche Eingriffe zu eliminieren“, wenn man auf einem stark CAPTCHA-geschützten, aufstrebenden Darknet-Marktplatz navigiert, indem sie CAPTCHA-Herausforderungen automatisch in maximal drei Versuchen löst.

Workflow für DW-GAN. Quelle: https://arxiv.org/pdf/2201.02799.pdf

Die Autoren behaupten, dass ihr Ansatz einen Durchbruch für Cybersicherheitsforscher darstellt, die traditionell die Kosten für die Bereitstellung von Human-in-the-Loop tragen mussten, um CAPTCHAs manuell zu lösen, normalerweise über Crowdsourcing-Plattformen wie Amazon Mechanical Turk (AMT).

Wenn sich das System als anpassungsfähig und belastbar erweisen kann, könnte es den Weg für stärker automatisierte Überwachungssysteme sowie für die Indizierung und das Web-Scraping von TOR-Netzwerken ebnen. Dies könnte skalierbare und umfangreiche Analysen sowie die Entwicklung neuer Cybersicherheitsansätze und -techniken ermöglichen, die bisher durch CAPTCHA-Firewalls behindert wurden.

Die Krepppapier ist betitelt Gegen textbasiertes CAPTCHA im Dark Web mit generativem gegnerischem Lernen für proaktive Cyber-Bedrohungsintelligenz vorgehen, und stammt von Forschern der University of Arizona, der University of South Florida und der University of Georgia.

Folgen

Da das System – genannt Dark Web-GAN (DW-GAN, verfügbar auf GitHub) – ist offenbar so viel performativer als seine Vorgänger, dass die Möglichkeit besteht, dass es als allgemeine Methode zur Überwindung des (normalerweise weniger schwierigen) CAPTCHA-Materials im Standard-Web verwendet wird, entweder in dieser spezifischen Implementierung oder basierend auf dem allgemeine Grundsätze, die das neue Papier umreißt. Aufgrund des begrenzten Speicherplatzes auf GitHub ist es derzeit jedoch erforderlich, den Hauptautor Ning Zhang zu kontaktieren, um die mit dem Framework verbundenen Daten zu erhalten.

Weil DW-GAN eine „positive“ Mission hat, CAPTCHAs zu knacken (so wie TOR selbst ursprünglich eine positive Mission hatte, militärische Kommunikation und später Journalisten zu schützen), und weil CAPTCHAs sowohl eine legitime Verteidigung sind (häufig und kontrovers benutzt Der Ansatz ist ein beliebtes Tool illegaler Darknet-Marktplätze und wird vom allgegenwärtigen CDN-Riesen CloudFlare bereitgestellt. Man könnte also sagen, dass es sich bei diesem Ansatz um eine „Nivellierungstechnologie“ handelt.

Die Autoren selbst räumen ein, dass DW-GAN weitreichendere Einsatzmöglichkeiten hat:

„[Obwohl] sich diese Studie hauptsächlich auf Dark-Web-CAPTCHAs als anspruchsvolleres Problem konzentriert, wird erwartet, dass die in dieser Studie vorgeschlagene Methode ohne Einschränkung der Allgemeingültigkeit auch auf andere Arten von CAPTCHAs anwendbar ist.“

Vermutlich müsste DW-GAN oder ein ähnliches System weit und deutlich verbreitet werden, um die Dark-Web-Märkte dazu zu bewegen, nach weniger maschinenlösbaren Lösungen zu suchen oder zumindest ihre CAPTCHA-Konfigurationen regelmäßig weiterzuentwickeln – ein Szenario des „Kalten Krieges“.

Motivationen

Wie das Papier feststellt, ist das Dark Web die primäre Quelle der Hacker-Informationen im Zusammenhang mit Cyber-Angriffen geschätzt wird die Weltwirtschaft bis 10 2025 Billionen US-Dollar kosten. Daher bleiben Zwiebelnetzwerke eine relativ sichere Umgebung für illegale Dark-Net-Gemeinschaften, die Eindringlinge mit verschiedenen Methoden abwehren können, darunter Sitzungszeitüberschreitungen, Cookies und Benutzerauthentifizierung.

Zwei Arten von CAPTCHAs, die beide verschleiernde Hintergründe und geneigte Buchstaben verwenden, um sie weniger maschinenlesbar zu machen.

Die Autoren stellen jedoch fest, dass keines dieser Hindernisse so groß ist wie die vielen CAPTCHAs, die das Surferlebnis in einer „sensiblen“ Community beeinträchtigen:

„Die meisten dieser Maßnahmen lassen sich zwar durch die Implementierung automatisierter Gegenmaßnahmen in einem Crawler-Programm effektiv umgehen, doch CAPTCHA ist die hinderlichste Anti-Crawling-Maßnahme im Darknet. Sie lässt sich aufgrund der hohen kognitiven Fähigkeiten, die Automatisierungstools oft nicht bieten, nicht so leicht umgehen.“

Textbasierte CAPTCHAs sind nicht die einzige verfügbare Option; Es gibt Varianten, die vielen von uns bekannt sind und den Benutzer dazu herausfordern, Video, Audio und insbesondere Bilder zu interpretieren. Dennoch ist, wie die Autoren feststellen, textbasiertes CAPTCHA dies derzeit die Herausforderung der Wahl für Dark-Web-Märkte und ein natürlicher Ausgangspunkt, um TOR-Netzwerke anfälliger für maschinelle Analysen zu machen.

Architektur

Obwohl ein früherer Ansatz der Northwest University in China Generative Adversarial Networks nutzte, um Merkmalsmuster von CAPTCHA-Plattformen abzuleiten, weisen die Autoren des neuen Artikels darauf hin, dass diese Methode auf der Interpretation eines gerasterten Bildes beruht und nicht auf einer genaueren Untersuchung der in der Herausforderung erkannten Buchstaben. Zudem wird die Effektivität von DW-GAN nicht durch die variable Länge von Unsinnswörtern (und Zahlen) beeinträchtigt, die typischerweise in Dark-Web-CAPTCHAs zu finden sind.

DW-GAN verwendet eine vierstufige Pipeline: Zuerst wird das Bild erfasst und dann einem Modul zur Hintergrundentrauschung zugeführt, das ein GAN verwendet, das anhand annotierter CAPTCHA-Beispiele trainiert wurde und daher in der Lage ist, Buchstaben von dem gestörten Hintergrund, den sie enthalten, zu unterscheiden ruhen darauf. Die extrahierten Buchstaben werden dann nach der GAN-basierten Extraktion weiter aus dem verbleibenden Rauschen herausgefiltert.

Anschließend wird der extrahierte Text segmentiert und mithilfe von Konturerkennungsalgorithmen in scheinbar konstituierende Zeichen zerlegt.

Durch die Zeichensegmentierung wird die Pixelgruppe isoliert und versucht, sie mithilfe der Randverfolgung zu erkennen.

Abschließend werden die „erratenen“ Zeichensegmente einer Zeichenerkennung über ein Convolutional Neural Network (CNN) unterzogen.

Manchmal überlappen sich Zeichen, ein sogenanntes Hyper-Kerning, das speziell dazu dient, Maschinensysteme zu täuschen. DW-GAN nutzt daher intervallbasierte Segmentierung, um Ränder hervorzuheben und zu isolieren und so Zeichen effektiv zu trennen. Da die Wörter meist Unsinn sind, gibt es keinen semantischen Kontext, der diesen Prozess unterstützt.

Ergebnisse

DW-GAN wurde anhand von CAPTCHA-Bildern aus drei verschiedenen Dark-Web-Datensätzen sowie einem beliebten CAPTCHA-Synthesizer getestet. Zu den dunklen Märkten, von denen die Bilder stammten, gehörten zwei Kardiergeschäfte, Rescator-1 und Rescator-2, und ein neuartiges Set aus einem damals aufstrebenden Markt namens Yellow Brick (das war berichtet (die später im Zuge der Abschaltung von DarkMarket verschwunden sein sollen).

Beispiel-CAPTCHAs aus den drei Datensätzen sowie der Open-Source-CAPTCHA-Synthesizer.

Den Autoren zufolge wurden die in den Tests verwendeten Daten von Cyber ​​Threat Intelligence (CTI)-Experten aufgrund ihrer weiten Verbreitung in Dark-Net-Märkten empfohlen.

Das Testen jedes Datensatzes umfasste die Entwicklung einer TOR-seitigen Spinne, deren Aufgabe es war, 500 CAPTCHA-Bilder zu sammeln, die anschließend von CTI-Beratern beschriftet und kuratiert wurden.

Drei Experimente wurden entwickelt. Der erste bewertete die allgemeine CAPTCHA-besiegende Leistung von DW-GAN im Vergleich zu Standard-SOTA-Methoden. Die konkurrierenden Methoden waren CNN auf Bildebene mit Vorverarbeitung, einschließlich Graustufenkonvertierung, Normalisierung und Gaußscher Glättung, eine gemeinsame akademische Anstrengung des Iran und des Vereinigten Königreichs; CNN auf Zeichenebene mit intervallbasierter Segmentierung; Und CNN auf Bildebene, von der Universität Oxford im Vereinigten Königreich.

Ergebnisse von DW-GAN für das erste Experiment im Vergleich zu früheren Ansätzen auf dem neuesten Stand der Technik.

Die Forscher fanden heraus, dass DW-GAN frühere Ergebnisse auf ganzer Linie verbessern konnte (siehe Tabelle oben).

Beim zweiten Experiment handelte es sich um eine Ablationsstudie, bei der verschiedene Komponenten des aktiven Gerüsts entfernt oder deaktiviert wurden, um die Möglichkeit auszuschließen, dass externe oder sekundäre Faktoren die Ergebnisse beeinflussen.

Ergebnisse der Ablationsstudie.

Auch hier stellten die Autoren fest, dass die Deaktivierung wichtiger Teile der Architektur die Leistung von DW-GAN in fast allen Fällen verringerte (siehe Tabelle oben).

Im dritten Offline-Experiment wurde die Wirksamkeit von DW-GAN mit einer bildbasierten Benchmark-Methode und zwei zeichenbasierten Methoden verglichen, um zu ermitteln, inwieweit die Zeichenauswertung von DW-GAN dessen Nützlichkeit in Fällen beeinflusste, in denen ein unsinniges CAPTCHA-Wort eine beliebige (und nicht vordefinierte) Länge hatte. In diesen Fällen variierte die CAPTCHA-Länge zwischen 4 und 7 Zeichen.

Für dieses Experiment verwendeten die Autoren einen Trainingssatz von 50,000 CAPTCHA-Bildern, wobei 5,000 für Tests in einer typischen 90/10-Aufteilung reserviert waren.

Auch hier übertraf DW-GAN frühere Ansätze:

Live-Test auf einem Darknet-Markt

Schließlich wurde DW-GAN gegen den (damals aktiven) Dark-Net-Markt Yellow Brick eingesetzt. Für diesen Test wurde ein Tor-Webbrowser entwickelt, der DW-GAN in seine Browsing-Funktionen integriert und CAPTCHA-Herausforderungen automatisch analysiert.

In diesem Szenario wurde dem automatisierten Crawler durchschnittlich alle 15 HTTP-Anfragen ein CAPTCHA vorgelegt. Der Crawler konnte 1,831 illegale Artikel zum Verkauf in Yellow Brick indizieren, darunter 1,223 drogenbezogene Produkte (einschließlich Opioide und Kokain), 44 Hacking-Pakete und neun gefälschte Dokumentenscans. Insgesamt konnte das System 286 Cybersicherheitsgegenstände identifizieren, darunter 102 entwendete Kreditkarten und 131 gestohlene Konto-Logins.

Die Autoren geben an, dass DW-GAN in allen Fällen in der Lage war, ein CAPTCHA in drei oder weniger Versuchen zu knacken, und dass 76 Minuten Verarbeitungszeit erforderlich waren, um CAPTCHAs zum Schutz aller 1,831 Produkte zu berücksichtigen. Es waren keine menschlichen Eingriffe erforderlich und es kam zu keinem Endpunktausfall.

Die Autoren bemerken das Auftauchen von Herausforderungen, die ein höheres Maß an Komplexität bieten als Text-CAPTCHAs, darunter einige, die auf Turing-Tests modelliert zu sein scheinen, und stellen fest, dass DW-GAN verbessert werden könnte, um diesen neuen Trends Rechnung zu tragen, sobald sie populärer werden.

*Vollständig automatisiert öffentlichen Turing-Test Neben Computer und Menschen zu sagen,

Erstveröffentlichung am 11. Januar 2022.