Forscher entdecken hoch effiziente Subnetzwerke innerhalb von Deep-Learning-Neural-Netzwerken

Deep-Learning-Neuronale Netze sind oft riesig und benötigen enorme Rechenleistung, aber eine neue Entdeckung zeigt, wie dies auf ein Minimum reduziert werden kann, um Aufgaben effizienter zu erledigen. Jonathan Frankle und sein Team aus dem MIT haben die “Lotterie-Ticket-Hypothese” entwickelt, die zeigt, wie es innerhalb der größeren neuronalen Netze schlankere Subnetzwerke gibt. Diese Subnetzwerke können die Aufgabe mit weniger benötigter Rechenleistung effizienter erledigen, wobei eine der größten Herausforderungen darin besteht, diese Subnetzwerke oder die gewinnenden Lotterietickets, wie das Team sie bezeichnet, zu finden.

Das Team entdeckte diese Subnetzwerke innerhalb von BERT, der Spitzen-Technologie für maschinelles Lernen im Bereich der natürlichen Sprachverarbeitung (NLP). NLP, ein Teilgebiet der künstlichen Intelligenz (KI), ist für das Entschlüsseln und Analysieren von menschlicher Sprache verantwortlich und wird für Anwendungen wie predictive Textgenerierung und Chatbots verwendet.

BERT ist jedoch groß und benötigt Supercomputer-Leistung, die für die meisten Benutzer unzugänglich ist. Mit der neuen Entdeckung dieser Subnetzwerke könnte dies den Zugang öffnen und es mehr Benutzern ermöglichen, die Technologie zu nutzen, um NLP-Tools zu entwickeln.

„Wir erreichen den Punkt, an dem wir diese Modelle leaner und effizienter machen müssen“, sagt Frankle.

Laut ihm könnte diese Entwicklung „die Barrieren für den Einstieg in die NLP reduzieren“.

BERT – „Obszön teuer“

BERT ist grundlegend für Dinge wie Googles Suchmaschine und hat seit der Veröffentlichung durch Google im Jahr 2018 viel Aufmerksamkeit erhalten. Es ist eine Methode zur Erstellung von neuronalen Netzen und wird durch wiederholte Versuche trainiert, Lücken in Textpassagen zu füllen. Eine der beeindruckendsten Funktionen von BERT ist sein riesiges anfängliches Trainingsdataset.

Es kann dann von Benutzern für spezifische Aufgaben wie Kunden-Service-Chatbots angepasst werden, aber erneut benötigt es enorme Mengen an Verarbeitungsleistung, mit der Möglichkeit, dass die Parameter 1 Milliarde erreichen.

„Ein Standard-BERT-Modell heute – die gängige Variante – hat 340 Millionen Parameter“, sagt Frankle. „Das ist einfach obszön teuer. Das ist weit jenseits der Rechenleistung von Ihnen oder mir.“

Laut dem Leitautor Tianlong Chen von der University of Texas at Austin leiden Modelle wie BERT „unter einer enormen Netzwerkgröße“, aber dank der neuen Forschung „scheint die Lotterie-Ticket-Hypothese eine Lösung zu sein“.

Effiziente Subnetzwerke

Chen und das Team suchten nach einem kleineren Modell innerhalb von BERT und verglichen die Leistung der entdeckten Subnetzwerke mit dem ursprünglichen BERT-Modell. Dies wurde auf einer Vielzahl von verschiedenen NLP-Aufgaben getestet, einschließlich der Beantwortung von Fragen und dem Ausfüllen von Lücken in einem Satz.

Das Team entdeckte erfolgreiche Subnetzwerke, die beeindruckende 40 bis 90 Prozent schlanker waren als das ursprüngliche BERT-Modell, wobei der tatsächliche Prozentsatz von der Aufgabe abhängt. Darüber hinaus konnten sie sie identifizieren, bevor sie für spezifische Aufgaben fein abgestimmt wurden, was zu noch geringeren Rechenkosten führte. Ein weiterer Vorteil war, dass einige der für eine bestimmte Aufgabe ausgewählten Subnetzwerke dann für eine andere Aufgabe wiederverwendet werden konnten.

„Ich war ein bisschen schockiert, dass das überhaupt funktioniert hat“, sagt Frankle. „Das ist nichts, was ich für selbstverständlich hielt. Ich erwartete ein viel chaotischeres Ergebnis, als wir es bekommen haben.“

Laut Ari Morcos, einem Wissenschaftler bei Facebook (META ) AI Research, ist diese Entdeckung „überzeugend“ und „Diese Modelle werden immer weiter verbreitet. Es ist also wichtig zu verstehen, ob die Lotterie-Ticket-Hypothese gilt.“

Morcos sagt auch, wenn diese Subnetzwerke mit drastisch weniger Rechenleistung laufen könnten, würde dies „sehr wirksam sein, da diese extrem großen Modelle derzeit sehr teuer zu betreiben sind“.

„Ich weiß nicht, wie viel größer wir noch werden können, wenn wir diese Supercomputer-Style-Berechnungen verwenden“, fügt Frankle hinzu. „Wir werden die Barrieren für den Einstieg reduzieren müssen.“

„Die Hoffnung ist, dass dies die Kosten senken, dass dies es für jeden zugänglicher machen wird… für die kleinen Leute, die nur einen Laptop haben“, schließt er.

Die Forschung soll auf der Konferenz über neuronale Informationsverarbeitungssysteme präsentiert werden.