CAPTCHAs mit Machine Learning lösen, um Forschung im Dark Web zu ermöglichen

Ein gemeinsames akademisches Forschungsprojekt aus den Vereinigten Staaten hat eine Methode entwickelt, um CAPTCHA-Tests auszuhebeln. Die Methode übertrifft Berichten zufolge ähnliche modernste Machine-Learning-Verfahren, indem sie generative adversarielle Netzwerke (GAN) verwendet, um die visuell komplexen Herausforderungen zu entschlüsseln.

Bei Tests des neuen Systems gegen die besten aktuellen Frameworks fanden die Forscher heraus, dass ihre Methode mehr als 94,4 % Erfolg bei einem sorgfältig kuratierten realen Benchmark-Datensatz erzielt und in der Lage ist, “menschliche Beteiligung” zu eliminieren, wenn sie durch einen stark CAPTCHA-geschützten aufstrebenden Dark-Net-Markt navigiert, und automatisch CAPTCHA-Herausforderungen in maximal drei Versuchen löst.

Workflow für DW-GAN. Quelle: https://arxiv.org/pdf/2201.02799.pdf

Die Autoren behaupten, dass ihr Ansatz einen Durchbruch für Cybersicherheitsforscher darstellt, die traditionell die Kosten für die Bereitstellung von Menschen im Loop tragen mussten, um CAPTCHAs manuell zu lösen, in der Regel über Crowdsourcing-Plattformen wie Amazon Mechanical Turk (AMT).

Wenn das System anpassungsfähig und widerstandsfähig ist, kann es möglicherweise den Weg für weitere automatisierte Überwachungssysteme und für die Indizierung und Web-Scraping von TOR-Netzwerken ebnen. Dies könnte skalierbare und hochvolumige Analysen ermöglichen sowie die Entwicklung neuer Cybersicherheitsansätze und -techniken, die bisher durch CAPTCHA-Feuerwände behindert wurden.

Die Studie trägt den Titel Counteracting Dark Web Text-Based CAPTCHA with Generative Adversarial Learning for Proactive Cyber Threat Intelligence und stammt von Forschern der University of Arizona, der University of South Florida und der University of Georgia.

Auswirkungen

Da das System – genannt Dark Web-GAN (DW-GAN, verfügbar auf GitHub) – offensichtlich so viel leistungsfähiger ist als seine Vorgänger, besteht die Möglichkeit, dass es als allgemeine Methode verwendet wird, um CAPTCHAs zu überwinden (normalerweise weniger schwierig) auf dem Standard-Web, entweder in dieser spezifischen Implementierung oder basierend auf den allgemeinen Grundsätzen, die die neue Studie skizziert. Aufgrund begrenzten Speicherplatzes auf GitHub ist es jedoch derzeit notwendig, den Lead-Autor Ning Zhang zu kontaktieren, um die mit dem Framework verbundenen Daten zu erhalten.

Da DW-GAN eine “positive” Mission hat, CAPTCHAs zu brechen (ähnlich wie TOR ursprünglich eine positive Mission hatte, um militärische Kommunikationen und später Journalisten zu schützen), und da CAPTCHAs sowohl eine legitime Verteidigung (häufig und umstritten verwendet von der ubiquitären CDN-Giant CloudFlare) als auch ein beliebtes Werkzeug von illegitimen Dark-Web-Märkten sind, lässt sich der Ansatz als ausgleichende Technologie betrachten.

Die Autoren selbst räumen ein, dass DW-GAN einen breiteren Anwendungsbereich hat:

‘[Während] diese Studie hauptsächlich auf Dark-Web-CAPTCHA als ein schwierigeres Problem fokussiert ist, wird die in dieser Studie vorgeschlagene Methode erwartet, auf andere Arten von CAPTCHA ohne Verlust der Allgemeingültigkeit anwendbar zu sein.’

Es ist anzunehmen, dass DW-GAN oder ein ähnliches System weithin und offensichtlich verbreitet werden müsste, um Dark-Web-Märkte zu veranlassen, weniger maschinell auflösbare Lösungen zu suchen oder zumindest ihre CAPTCHA-Konfigurationen periodisch zu ändern, ein “Kalter Krieg”-Szenario.

Motivationen

Wie die Studie feststellt, ist das Dark Web die primäre Quelle für Hacker-Intelligenz in Bezug auf Cyber-Angriffe, die geschätzt werden, bis 2025 10 Billionen US-Dollar für die globale Wirtschaft zu kosten. Daher bleiben Onion-Netzwerke eine relativ sichere Umgebung für illegale Dark-Net-Gemeinschaften, die Eindringlinge durch verschiedene Methoden abwehren können, einschließlich Sitzungs-Timeouts, Cookies und Benutzer-Authentifizierung.

Zwei Arten von CAPTCHA, beide mit verschwommenen Hintergründen und geneigten Buchstaben, um sie weniger maschinell lesbar zu machen.

Jedoch bemerken die Autoren, dass keines dieser Hindernisse so groß ist wie die Reihe von CAPTCHAs, die das Browsen in einer “sensiblen” Gemeinschaft unterbricht:

‘Während die meisten dieser Maßnahmen durch die Implementierung automatisierter Gegenmaßnahmen in einem Crawler-Programm effektiv umgangen werden können, ist CAPTCHA die hemmendste Anti-Crawling-Maßnahme im Dark Web, die aufgrund hoher kognitiver Fähigkeiten, die oft nicht von Automatisierungstools besessen werden, nicht leicht umgangen werden kann.’

Text-basierte CAPTCHAs sind nicht die einzige verfügbare Option; es gibt Varianten, die vielen von uns vertraut sind, die den Benutzer auffordern, Video, Audio und insbesondere Bilder zu interpretieren. Dennoch bemerken die Autoren, dass text-basierte CAPTCHA derzeit die Herausforderung der Wahl für Dark-Web-Märkte ist und ein natürlicher Ausgangspunkt ist, um TOR-Netzwerke maschineller Analyse zugänglicher zu machen.

Architektur

Obwohl ein vorheriger Ansatz von der Northwest University in China Generative Adversarial Networks verwendet hat, um Merkmalmuster von CAPTCHA-Plattformen abzuleiten, bemerken die Autoren der neuen Studie, dass diese Methode auf der Interpretation eines Rasterbildes basiert, anstatt einer tieferen Untersuchung der im Herausforderung erkannten Buchstaben; und dass die Wirksamkeit von DW-GAN nicht von der variablen Länge der Unsinnswörter (und Zahlen) beeinflusst wird, die typischerweise in Dark-Web-CAPTCHAs gefunden werden.

DW-GAN verwendet eine vierstufige Pipeline: Zuerst wird das Bild aufgenommen und dann an ein Modul zur Entfernung von Hintergrundrauschen gesendet, das ein GAN verwendet, das auf annotierten CAPTCHA-Beispielen trainiert wurde und daher in der Lage ist, Buchstaben von dem gestörten Hintergrund zu unterscheiden, auf dem sie ruhen. Die extrahierten Buchstaben werden dann weiter gefiltert, um jedes verbleibende Rauschen nach der GAN-basierten Extraktion zu entfernen.

Als nächstes wird eine Segmentierung auf dem extrahierten Text durchgeführt, der dann in scheinbar konstituierende Zeichen zerlegt wird, indem Kontur-Erkennungsalgorithmen verwendet werden.

Zeichensegmentierung isoliert die Pixelgruppe und versucht, mit Randverfolgung zu erkennen.

Schließlich werden die “geratenen” Zeichensegmente einer Zeichenerkennung durch ein Convolutional Neural Network (CNN) unterzogen.

Manchmal können Zeichen überlappen, ein Hyper-Kerning, das speziell dazu gedacht ist, maschinelle Systeme zu täuschen. DW-GAN verwendet daher intervalbasierte Segmentierung, um Grenzen zu verbessern und zu isolieren, und trennt effektiv Zeichen. Da die Wörter normalerweise Unsinn sind, gibt es keinen semantischen Kontext, der bei diesem Prozess helfen kann.

Ergebnisse

DW-GAN wurde gegen CAPTCHA-Bilder aus drei verschiedenen Dark-Web-Datensätzen sowie einem beliebten CAPTCHA-Synthesizer getestet. Die Dark-Märkte, aus denen die Bilder stammten, bestanden aus zwei Kartenläden, Rescator-1 und Rescator-2, und einem neuen Satz aus einem aufstrebenden Markt namens Yellow Brick (der später verschwand, nachdem DarkMarket abgeschaltet wurde).

Beispiel-CAPTCHAs aus den drei Datensätzen sowie dem Open-Source-CAPTCHA-Synthesizer.

Laut den Autoren wurde die für die Tests verwendete Datenempfehlung von Cyber-Threat-Intelligence-(CTI)-Experten aufgrund ihrer weiten Verbreitung in Dark-Net-Märkten vorgenommen.

Die Tests jedes Datensatzes umfassten die Entwicklung eines TOR-orientierten Spiders, der 500 CAPTCHA-Bilder sammelte, die anschließend von CTI-Beratern beschriftet und kuratiert wurden.

Drei Experimente wurden entwickelt. Das erste bewertete die allgemeine CAPTCHA-Überwindungsfähigkeit von DW-GAN gegen Standard-SOTA-Methoden. Die konkurrierenden Methoden waren Bild-Level-CNN mit Vorverarbeitung, die Grayscale-Konvertierung, Normalisierung und Gaussian-Smoothing umfasste, ein gemeinsames akademisches Bemühen aus dem Iran und dem Vereinigten Königreich; Zeichen-Level-CNN mit intervalbasierter Segmentierung; und Bild-Level-CNN, von der University of Oxford im Vereinigten Königreich.

Ergebnisse von DW-GAN für das erste Experiment im Vergleich zu vorherigen State-of-the-Art-Ansätzen.

Die Forscher fanden heraus, dass DW-GAN in der Lage war, die vorherigen Ergebnisse in allen Bereichen zu verbessern (siehe Tabelle oben).

Das zweite Experiment war eine Ablationsstudie, bei der verschiedene Komponenten des aktiven Frameworks entfernt oder deaktiviert wurden, um die Möglichkeit auszuschließen, dass externe oder sekundäre Faktoren die Ergebnisse beeinflussen.

Ergebnisse der Ablationsstudie.

Auch hier fanden die Autoren heraus, dass die Deaktivierung wichtiger Abschnitte der Architektur die Leistung von DW-GAN in fast allen Fällen verringerte (siehe Tabelle oben).

Das dritte Offline-Experiment verglich die Wirksamkeit von DW-GAN gegenüber einem Benchmark-Bild-Verfahren und zwei Zeichen-Level-Methoden, um den Umfang zu bestimmen, in dem die Zeichenauswertung von DW-GAN seine Nützlichkeit in Fällen beeinflusst, in denen ein Unsinn-CAPTCHA-Wort eine willkürliche (anstatt vordefinierte) Länge hat. In diesen Fällen variierte die CAPTCHA-Länge zwischen 4 und 7 Zeichen.

Bei diesem Experiment verwendeten die Autoren einen Trainingsdatensatz von 50.000 CAPTCHA-Bildern, von denen 5.000 für die Tests in einem typischen 90/10-Split reserviert wurden.

Auch hier übertraf DW-GAN die vorherigen Ansätze:

Live-Test auf einem Dark-Net-Markt

Schließlich wurde DW-GAN gegen den (damals live) Yellow-Brick-Dark-Net-Markt eingesetzt. Bei diesem Test wurde ein Tor-Webbrowser entwickelt, der DW-GAN in seine Browsing-Fähigkeiten integrierte und automatisch CAPTCHA-Herausforderungen parste.

In diesem Szenario wurde eine CAPTCHA für jeden 15. HTTP-Request, im Durchschnitt, dem automatisierten Crawler präsentiert. Der Crawler konnte 1.831 illegale Artikel auf Yellow Brick indexieren, darunter 1.223 drogenbezogene Produkte (einschließlich Opioiden und Kokain), 44 Hacking-Pakete und neun gefälschte Dokumentenscans. Insgesamt konnte das System 286 Cybersicherheits-Elemente identifizieren, darunter 102 gestohlene Kreditkarten und 131 gestohlene Anmeldeinformationen.

Die Autoren stellen fest, dass DW-GAN in allen Fällen in der Lage war, eine CAPTCHA in drei oder weniger Versuchen zu knacken, und dass 76 Minuten Verarbeitungszeit erforderlich waren, um CAPTCHA-Aufgaben zu lösen, die alle 1.831 Produkte schützten. Es waren keine menschlichen Eingriffe erforderlich, und es traten keine Fehlfälle am Endpunkt auf.

Die Autoren bemerken das Auftauchen von Herausforderungen, die ein höheres Maß an Raffinesse bieten als Text-CAPTCHAs, einschließlich einiger, die den Turing-Tests ähneln, und beobachten, dass DW-GAN verbessert werden könnte, um diese neuen Trends zu berücksichtigen, wenn sie populär werden.

*Vollautomatisierter öffentlicher Turing-Test zur Unterscheidung von Computern und Menschen

Erstveröffentlicht am 11. Januar 2022.