GPU:er kan vara bättre, inte bara snabbare, på att träna djupa neuronnätverk

Forskare från Polen och Japan, som arbetar med Sony, har funnit bevis för att maskinlärningssystem som tränas på GPU:er snarare än CPU:er kan innehålla färre fel under träningsprocessen och producera bättre resultat, vilket motsäger den allmänna uppfattningen att GPU:er bara utför sådana operationer snabbare, snarare än bättre.

Forskningen, som heter Impact of GPU Uncertainty on the Training of Predictive Deep Neural Networks, kommer från institutionen för psykologi och kognitiva vetenskaper vid Adam Mickiewicz universitet och två japanska universitet, tillsammans med SONY Computer Science Laboratories.

Studien föreslår att ‘osäkerheter’ som djupa neuronnätverk visar i olika hårdvaru- och programvarukonfigurationer favoriserar mer dyra (och alltmer sällsynta) grafikprocessorer, och fann i tester att ett djupt neuronnätverk som tränades uteslutande på CPU producerade högre felrater under samma antal epoker (antalet gånger som systemet bearbetar träningsdata under en session).

I detta supplementära exempel från artikeln ser vi (de två nedersta raderna), liknande resultatkvalitet erhållna från en mängd olika GPU:er, och (första raden), de sämre resultaten erhållna från en rad mycket kapabla CPU:er. Källa: https://arxiv.org/pdf/2109.01451.pdf

Underliga fenomen

Dessa preliminära fynd gäller inte enhetligt för populära maskinlärningsalgoritmer, och i fallet med enkla autoencoder-arkitekturer, förekommer fenomenet inte.

Ändå antyder arbetet en möjlig ‘flykt hastighet’ för effektiviteten i träningsprocessen för komplexa neuronnätverk, där att utföra samma operationer i lägre hastighet och med längre tränings tid inte uppnår den förväntade prestandan som man skulle förvänta sig av matematiska iterationer.

Forskarna föreslår att denna prestandaskillnad kan vara särskild för vissa typer av neuronnätverk, och att de osäkra aspekterna av GPU-specifik bearbetning, som ofta ses som ett hinder som så småningom ska övervinnas, inte bara kan ge betydande fördelar, utan också kan införlivas i senare system. Artikeln föreslår också att resultaten kan ge djupare insikter i hjärnrelaterad beräkning.

Att identifiera de särskilda egenskaperna som ökar effektiviteten och kvaliteten på resultaten på detta sätt på GPU:er har potentialen att ge en djupare insikt i ‘svarta lådan’ AI-arkitekturer, och även förbättra CPU-prestanda – även om de underliggande orsakerna för närvarande är outredda.

Autoencoder vs. PredNet

I studien av anomalierna använde forskarna en grundläggande autoencoder och också Harvard Universitys Predictive Neural Network PredNet, forskning från 2016 som var tänkt att utforska och försöka replikera beteendet hos den mänskliga hjärnbarken.

Båda systemen är djupa neuronnätverk som är utformade för att syntetisera lämpliga bilder genom ostrukturerad inlärning (med data från vilka etiketter hade utelämnats), även om autoencodern hanterar linjärt en bild per batch, som sedan producerar en utdata som den nästa bilden i en återkommande pipeline. Autoencodern tränades på MNIST-databasen för handstil.

Autoencodern i forskarnas tester tränades på MNIST-databasen, som består av 60 000 träningsbilder i 28×28 pixlar, anti-aliasade för gråskaleinduktion, samt 10 000 testbilder.

I kontrast utvärderar PredNet komplex videoinmatning, och i fallet med denna forskning, tränades den på FPSI-databasen, som innehåller omfattande kroppsburen videofilmning av en dag på Disney World i Orlando, Florida (Disney var en av forskningsmedarbetarna i 2012 års artikel).

Bildsekvenser från FPSI, som visar första-persons-vyer på en dag på Disney World.

De två arkitekturerna är mycket olika i fråga om komplexitet. Autoencodern är utformad för att rekonstruera bilder snarare än förutsäga målvärden. I kontrast har PredNet fyra lager, var och en bestående av representationsneuroner som använder konvolutions-LSTM.

Lagren producerar kontextuella förutsägelser som sedan jämförs med en måltid för att producera en felterm som sprids genom nätverket. Båda modellerna använder ostrukturerad inlärning.

Den enkla, linjära arkitekturen hos autoencodern och den mer labyrintiska och rekursiva nätverket hos PredNet.

Båda systemen testades på en mängd olika hårdvaru- och programvarukonfigurationer, inklusive CPU:er utan GPU:er (Intel i5-4590, i7-6800K, i5-7600K eller AMD Ryzen-5-3600) och CPU:er med GPU:er (Intel i5-7600K + NVIDIA GTX-750Ti, i5-7600K + GTX-970, i7-6700K + GTX-1080, i7-7700K + GTX-1080Ti, i7-9700 + RTX-2080Ti, i5-7600K + RTX-2060 super, AMD Ryzen-5-3600 + RTX-2070 super eller i5-9400 + Titan-RTX).

Den interaktiva processvisaren htop användes för att säkerställa att all träningsprocess skedde antingen på en enda tråd (på en Intel i7-6800K), på fyra trådar (på en Intel i5-4590 och i5-7600K) eller sex trådar (på en AMD Ryzen-5-3600).

Sadelpunkter

På autoencodern var den genomsnittliga skillnaden över alla konfigurationer, med och utan cuDNN, inte signifikant. För PredNet var resultaten mer anmärkningsvärda, med betydande skillnader i förlustutvärdering och kvalitet mellan CPU- och GPU-träning.

De genomsnittliga förlustresultaten för PredNet-träning över fyra CPU:er och åtta GPU:er, med nätverket tränat på 5000 videofiler i 250 batchar, med genomsnittlig förlust för de sista 1000 filerna (50 batchar) avbildade. cuDNN var avstängd.

Forskarna drar slutsatsen att ‘Även om mekanismen är oklar, verkar det som att GPU-hårdvaran har förmågan att främja träningsprocessen för DNN:er.’

Resultaten indikerar att GPU:er kan vara bättre på att undvika sadelpunkter – de områden i en gradientnedstigning som beskriver botten av en slänt.

Nadir av slänterna i en gradientnedstigning är ‘sadelpunkten’, uppkallad efter uppenbara skäl. Källa: https://www.pinterest.com.au/pin/436849232581124086/

Sadelpunkter, som tidigare har setts som ett hinder, har i stor utsträckning avfärdats som lätt att komma runt i den senaste tanken om optimering av stokastisk gradientnedstigning (SGD), men den nya artikeln föreslår inte bara att GPU:er kan vara unikt utrustade för att undvika dem, utan också att inflytandet av sadelpunkter bör omprövas.