Forscher entwickeln Alternative zu GPU

Computerwissenschaftler der Rice University, zusammen mit Mitarbeitern von Intel (INTC ), haben eine kostengünstigere Alternative zu GPU entwickelt. Der neue Algorithmus heißt “sub-lineares Deep-Learning-Modell” (SLIDE) und verwendet allgemeine Prozessoren (CPUs) ohne spezielle Beschleuniger-Hardware.

Die Ergebnisse wurden auf der Austin Convention Center präsentiert, die die Konferenz für maschinelles Lernen, MLSys, ausrichtet.

Eine der größten Herausforderungen im Bereich der künstlichen Intelligenz (KI) sind spezielle Beschleuniger-Hardware wie Grafikprozessoren (GPUs). Vor den neuen Entwicklungen wurde angenommen, dass für die Beschleunigung von Deep-Learning-Technologie die Verwendung von spezieller Beschleuniger-Hardware erforderlich sei.

Viele Unternehmen haben großen Wert darauf gelegt, in GPUs und spezielle Hardware für Deep Learning zu investieren, die für Technologien wie digitale Assistenten, Gesichtserkennung und Produktempfehlungssysteme verantwortlich sind. Ein solches Unternehmen ist Nvidia (NVDA ), das die Tesla (TSLA ) V100 Tensor Core GPUs herstellt. Nvidia hat recently einen Anstieg von 41% seines Umsatzes im vierten Quartal im Vergleich zum Vorjahr gemeldet.

Die Entwicklung von SLIDE eröffnet völlig neue Möglichkeiten.

Anshumali Shrivastava ist Assistant Professor an der Brown School of Engineering der Rice University und half bei der Erfindung von SLIDE mit den Doktoranden Beidi Chen und Tharun Medini.

“Unsere Tests zeigen, dass SLIDE die erste intelligente algorithmische Implementierung von Deep Learning auf CPU ist, die die Hardware-Beschleunigung von GPU auf industrie-weiten Empfehlungsdatensätzen mit großen vollständig verbundenen Architekturen überbieten kann”, sagte Shrivastava.

SLIDE überwindet die Herausforderung von GPUs aufgrund seines völlig anderen Ansatzes zum Deep Learning. Derzeit ist die Standard-Trainingsmethode für tiefe neuronale Netze die “Rückwärtspropagation” und erfordert Matrixmultiplikation. Diese Arbeitsbelastung erfordert die Verwendung von GPUs, daher haben die Forscher die neuronale Netzwerk-Trainingsmethode so geändert, dass sie mit Hash-Tabellen gelöst werden kann.

Dieser neue Ansatz reduziert den Rechenaufwand für SLIDE erheblich. Die aktuelle beste GPU-Plattform, die Unternehmen wie Amazon (AMZN ) und Google (GOOGL ) für cloud-basiertes Deep Learning verwenden, verfügt über acht Tesla V100s und hat einen Preis von etwa 100.000 US-Dollar.

“Wir haben einen im Labor und in unserem Testfall haben wir eine Arbeitsbelastung genommen, die perfekt für V100 ist, eine mit über 100 Millionen Parametern in großen, vollständig verbundenen Netzen, die in den GPU-Speicher passen”, sagte Shrivastava. “Wir haben sie mit dem besten Paket trainiert, das es gibt, Google’s TensorFlow, und es dauerte 3 1/2 Stunden, um es zu trainieren.

“Wir haben dann gezeigt, dass unser neuer Algorithmus die Trainingszeit in einer Stunde durchführen kann, nicht auf GPUs, sondern auf einem 44-Kern-Xeon-Prozessor”, fuhr er fort.

Hashing ist eine Art Daten-Indexierungsmethode, die in den 1990er Jahren für die Internetsuche erfunden wurde. Numerische Methoden werden verwendet, um große Mengen an Informationen als Zeichenfolge von Ziffern zu codieren, die als Hash bezeichnet wird. Hashes werden in Tabellen aufgelistet, die schnell durchsucht werden können.

“Es hätte keinen Sinn gemacht, unseren Algorithmus auf TensorFlow oder PyTorch zu implementieren, weil sie als Erstes versuchen, alles, was Sie tun, in ein Matrixmultiplikationsproblem umzuwandeln”, sagte Chen. “Das ist genau das, was wir vermeiden wollten. Also haben wir unseren eigenen C++-Code von Grund auf geschrieben.”

Laut Shrivastava ist der größte Vorteil von SLIDE, dass es datenparallel ist.

“Datenparallel bedeutet, dass wenn ich zwei Dateninstanzen habe, die ich trainieren möchte, sagen wir eine ist ein Bild eines Katzen und die andere eines Busses, sie wahrscheinlich unterschiedliche Neuronen aktivieren und SLIDE kann diese unabhängig aktualisieren oder trainieren”, sagte er. “Dies ist eine viel bessere Ausnutzung von Parallelität für CPUs.”

“Die Kehrseite, im Vergleich zu GPU, ist, dass wir einen großen Speicher benötigen”, sagte er. “Es gibt eine Cache-Hierarchie im Hauptspeicher und wenn Sie nicht vorsichtig sind, können Sie ein Problem namens Cache-Thrashing bekommen, bei dem Sie viele Cache-Verfehlungen haben.”

SLIDE hat die Tür für neue Möglichkeiten, Deep Learning umzusetzen, geöffnet und Shrivastava glaubt, dass es erst der Anfang ist.

“Wir haben nur die Oberfläche gekratzt”, sagte er. “Es gibt noch viel, was wir tun können, um zu optimieren. Wir haben noch nicht vectorisiert oder eingebaute Beschleuniger im CPU wie Intel Deep Learning Boost verwendet. Es gibt noch viele andere Tricks, die wir verwenden können, um es noch schneller zu machen.”