GPUs Zouden Beter, Niet Alleen Sneller Zijn, bij het Trainen van Diepe Neuronale Netwerken

Onderzoekers uit Polen en Japan, die samenwerken met Sony, hebben aanwijzingen gevonden dat machine learning-systemen die zijn getraind op GPUs in plaats van CPUs mogelijk minder fouten bevatten tijdens het trainingsproces en betere resultaten opleveren, wat in tegenspraak is met het algemene begrip dat GPUs dergelijke operaties alleen sneller uitvoeren, maar niet noodzakelijkerwijs beter.

Het onderzoek, getiteld Impact van GPU-onzekerheid op de training van voorspellende diepe neurale netwerken, komt van de Faculteit Psychologie en Cognitieve Wetenschappen van de Adam Mickiewicz Universiteit en twee Japanse universiteiten, samen met SONY Computer Science Laboratories.

Het onderzoek suggereert dat ‘onzekerheden’ die diepe neurale netwerken vertonen in het gezicht van verschillende hardware- en softwareconfiguraties meer gunstig zijn voor duurdere (en steeds schaarser wordende) graphics processing units, en vond in tests dat een diep neuronaal netwerk dat uitsluitend op CPU was getraind hogere foutpercentages had over hetzelfde aantal epochs (het aantal keren dat het systeem de trainingsdata verwerkt tijdens een sessie).

In dit aanvullende voorbeeld uit het artikel zien we (onderste twee rijen), vergelijkbare resultaatkwaliteit verkregen van een verscheidenheid aan GPUs, en (eerste rij), de inferieure resultaten verkregen van een reeks zeer capabele CPUs. Bron: https://arxiv.org/pdf/2109.01451.pdf

Vreemde Verschijnselen

Deze voorlopige bevindingen zijn niet uniform van toepassing op populaire machine learning-algoritmen, en in het geval van eenvoudige autoencoder-architecturen, komt het fenomeen niet voor.

Desondanks geeft het onderzoek aan dat er mogelijk een ‘ontsnappingssnelheid’ is voor de effectiviteit van training in complexe neurale netwerken, waarbij het uitvoeren van dezelfde operaties op lagere snelheid en langere trainingsduur niet de gelijkwaardigheid van prestaties oplevert die men zou verwachten van wiskundige iteratieroutines.

De onderzoekers suggereren dat deze prestatieverschillen specifiek kunnen zijn voor bepaalde soorten neurale netwerken, en dat de onbepaalde aspecten van GPU-specifieke verwerking, die vaak worden gezien als een obstakel dat uiteindelijk moet worden overwonnen, niet alleen opvallende voordelen kunnen bieden, maar mogelijk ook opzettelijk in latere systemen kunnen worden geïntegreerd. Het artikel suggereert ook dat de bevindingen diepere inzichten kunnen bieden in de verwerking van hersen-gerelateerde berekeningen.

Het identificeren van de eigenaardigheden die de efficiëntie en kwaliteit van resultaten op deze manier op GPUs vergroten, houdt het potentieel in om een dieper inzicht te verkrijgen in ‘black box’ AI-architecturen, en zelfs om de prestaties van CPUs te verbeteren – hoewel de onderliggende oorzaken momenteel nog onduidelijk zijn.

Autoencoder Vs. PredNet

Bij het bestuderen van de anomalieën, gebruikten de onderzoekers een basisautoencoder en ook de Predictive Neural Network PredNet van de Harvard Universiteit, onderzoek uit 2016 dat was ontworpen om het gedrag van de menselijke cerebrale cortex te onderzoeken en te proberen te repliceren.

Beide systemen zijn diepe neurale netwerken die zijn ontworpen om passende afbeeldingen te synthetiseren via onbegeleide leerprocessen (met data waarvan labels waren weggelaten), hoewel de autoencoder lineair omgaat met één afbeelding per batch, die vervolgens een uitvoer produceert als de volgende afbeelding in een terugkerend proces. De autoencoder werd getraind op de MNIST handschriftdatabase.

De autoencoder in de tests van de onderzoekers werd getraind op de MNIST-database, die bestaat uit 60.000 trainingsafbeeldingen van 28×28 pixels, anti-aliasing voor grijswaarde-inductie, evenals 10.000 testafbeeldingen.

Daarentegen evalueert PredNet complexe video-input, en in het geval van dit onderzoek, werd het getraind op de FPSI-dataset, die uitgebreide body-worn video-opnames bevat van een dag in Disney World in Orlando, Florida (Disney was een van de onderzoeksassociaten in het paper uit 2012).

Afbeeldingssequenties uit FPSI, met eerste-persoon-weergaven van een dag in Disney World.

De twee architecturen zijn zeer verschillend in termen van complexiteit. De autoencoder is ontworpen om afbeeldingen te reconstrueren in plaats van doelwaarden te voorspellen. Daarentegen heeft PredNet vier lagen, waarvan elke laag bestaat uit representatieve neuronen met convolutionele lange korte-termijngeheugen (LSTM).

De lagen produceren contextuele voorspellingen die vervolgens worden vergeleken met een doel om een foutterm te produceren die zich door het netwerk verspreidt. Beide modellen gebruiken onbegeleide leerprocessen.

De eenvoudige, lineaire architectuur van de autoencoder, en het meer labyrinthine en recursieve netwerk van PredNet.

Beide systemen werden getest op een reeks hardware- en softwareconfiguraties, waaronder CPUs zonder GPUs (Intel i5-4590, i7-6800K, i5-7600K, of AMD Ryzen-5-3600) en CPUs met GPUs (Intel i5-7600K + NVIDIA GTX-750Ti, i5-7600K + GTX-970, i7-6700K + GTX-1080, i7-7700K + GTX-1080Ti, i7-9700 + RTX-2080Ti, i5-7600K + RTX-2060 super, AMD Ryzen-5-3600 + RTX-2070 super, of i5-9400 + Titan-RTX).

De interactieve procesviewer htop werd gebruikt om ervoor te zorgen dat alle training plaatsvond op een enkele thread (op een Intel i7-6800K), op vier threads (op een Intel i5-4590 en i5-7600K), of zes threads (op een AMD Ryzen-5-3600).

Zadelpunten

Op de autoencoder was het gemiddelde verschil over alle configuraties, met en zonder cuDNN, niet significant. Voor PredNet waren de resultaten meer verbluffend, met opvallende verschillen in verliesbeoordeling en kwaliteit tussen CPU- en GPU-training.

De gemiddelde verliesresultaten voor PredNet-training over vier CPUs en acht GPUs, met het netwerk getraind op 5000 video-frames in 250 batches, met gemiddelde verlies voor de laatste 1000 frames (50 batches) weergegeven. cuDNN was uitgeschakeld.

De onderzoekers concluderen dat ‘Hoewel het mechanisme onduidelijk is, lijkt de GPU-hardware in staat te zijn de training van DNN’s te verbeteren.’

De resultaten geven aan dat GPUs mogelijk beter zijn in het vermijden van zadelpunten – de gebieden in een gradient descent die de bodem van een helling beschrijven.

Het diepste punt van de hellingen in een gradient descent is het ‘zadelpunt’, genoemd om voor de hand liggende redenen. Bron: https://www.pinterest.com.au/pin/436849232581124086/

Zadelpunten, hoewel een belemmering, zijn grotendeels verworpen als gemakkelijk te omzeilen in recente gedachten over optimalisatie van stochastische gradient descent (SGD), maar het nieuwe artikel suggereert niet alleen dat GPUs mogelijk uniek zijn uitgerust om ze te vermijden, maar ook dat de invloed van zadelpunten mogelijk moet worden herbezocht.