GPUs kan være bedre, ikke kun hurtigere, til træning af dybe neurale netværk

Forskere fra Polen og Japan, der arbejder med Sony, har fundet bevis for, at maskinlæringsystemer, der er trænet på GPUs i stedet for CPUs, kan indeholde færre fejl under træningsprocessen og producere bedre resultater, hvilket modsiger den almindelige forståelse af, at GPUs blot udfører disse operationer hurtigere, ikke bedre.

Forskningen, der hedder Impact of GPU Uncertainty on the Training of Predictive Deep Neural Networks, kommer fra Fakultetet for Psykologi og Kognitionsvidenskab på Adam Mickiewicz Universitet og to japanske universiteter, sammen med SONY Computer Science Laboratories.

Studiet foreslår, at ‘usikkerheder’, som dybe neurale netværk udviser i forhold til forskellige hardware- og software-konfigurationer, favoriserer mere dyre (og stigende sjældne) grafikprocessorer, og fandt i tests, at et dybt neuralt netværk, der blev trænet udelukkende på CPU, producerede højere fejlrate over det samme antal epocher (antallet af gange, som systemet genbearbejder træningsdataene over en sessions varighed).

I dette supplerende eksempel fra artiklen ser vi (nederste to rækker), lignende resultatkvalitet erhvervet fra en række GPUs, og (første række), de ringere resultater erhvervet fra en række ellers meget kapable CPUs. Kilde: https://arxiv.org/pdf/2109.01451.pdf

Underlige fænomener

Disse foreløbige fund gælder ikke ensartet på tværs af populære maskinlæringsalgoritmer, og i tilfældet af simple autoencoder-arkitekturer, viser fænomenet sig ikke.

Ikke desto mindre antyder arbejdet en mulig ‘undslipningshastighed’ for effekten af træning i komplekse neurale netværk, hvor dækning af de samme operationer i lavere hastighed og længere træningstider ikke opnår lighed i præstation, som man ellers ville forvente af matematiske iterationer.

Forskerne foreslår, at denne præstationsforskel kan være specifik for visse typer neurale netværk, og at de ubestemte aspekter af GPU-specifikke processer, som ofte ses som en hindring, der skal overvindes, ikke kun kan give betydelige fordele, men også kan være med til at danne grundlag for senere systemer. Artiklen foreslår også, at fundene kan give dybere indsigt i hjernen-relateret beregningsprocesser.

At identificere de særpræg, der øger effektiviteten og kvaliteten af resultaterne på denne måde på GPUs, har potentialet for at give en dybere indsigt i ‘sorte boks’ AI-arkitekturer, og endda for at forbedre CPU-præstation – selvom årsagerne til dette endnu er ukendte.

Autoencoder vs. PredNet

I studiet af anomalierne brugte forskerne en basal autoencoder og også Harvard Universitets Predictive Neural Network PredNet, forskning fra 2016, der var designet til at udforske og forsøge at replikere adfærden af den menneskelige cerebrale cortex.

Begge systemer er dybe neurale netværk designet til at syntetisere passende billeder gennem usuperviseret læring (med data, hvoraf mærker var udeladt), selvom autoencoderen behandler lineært med ét billede per batch, som derefter ville producere en output som det næste billede i en gentagen pipeline. Autoencoderen blev trænet på MNIST-database for håndskrevne tegn.

Autoencoderen i forskernes tests blev trænet på MNIST-databasen, der består af 60.000 træningsbilleder på 28×28 pixels, anti-aliased for gråskala-induktion, samt 10.000 testbilleder.

I modsætning hertil vurderer PredNet komplekse video-input, og i tilfældet af denne forskning, blev det trænet på FPSI-databasen, der indeholder omfattende kropsbåret video-optagelse af en dag i Disney World i Orlando, Florida (Disney var en af forskningspartnerne på papiret fra 2012).

Billedekvencener fra FPSI, der viser førstehåndsvisninger af en dag i Disney World.

De to arkitekturer er meget forskellige i kompleksitet. Autoencoderen er designet til at genskabe billeder i stedet for at forudsige mål-værdier. I modsætning hertil har PredNet fire lag, hvoraf hvert består af repræsentationsneuroner, der bruger convolutional long short-term memory (LSTM).

Lagene producerer kontekstuelle forudsigelser, der derefter sammenlignes med et mål for at producere en fejlterm, der spreder sig gennem netværket. Begge modeller bruger usuperviseret læring.

Den simple, lineære arkitektur af autoencoderen og den mere labyrintiske og rekursive netværk af PredNet.

Begge systemer blev testet på en række hardware- og software-konfigurationer, herunder CPU’er uden GPU’er (Intel i5-4590, i7-6800K, i5-7600K eller AMD Ryzen-5-3600) og CPU’er med GPU’er (Intel i5-7600K + NVIDIA GTX-750Ti, i5-7600K + GTX-970, i7-6700K + GTX-1080, i7-7700K + GTX-1080Ti, i7-9700 + RTX-2080Ti, i5-7600K + RTX-2060 super, AMD Ryzen-5-3600 + RTX-2070 super eller i5-9400 + Titan-RTX).

Den interaktive procesviser htop blev brugt til at sikre, at al træning fandt sted enten på en enkelt tråd (på en Intel i7-6800K), på fire tråde (på en Intel i5-4590 og i5-7600K) eller seks tråde (på en AMD Ryzen-5-3600).

Sadelpunkter

På autoencoderen var den gennemsnitlige forskel på tværs af alle konfigurationer, med og uden cuDNN, ikke signifikant. For PredNet var resultaterne mere slående, med bemærkelsesværdige forskelle i tabsevaluering og kvalitet mellem CPU- og GPU-træning.

De gennemsnitlige tab-resultater for PredNet-træning på fire CPU’er og otte GPU’er, med netværket trænet på 5000 video-frames i 250 batches, med gennemsnitlig tab for de sidste 1000 frames (50 batches) afbildet. cuDNN var slået fra.

Forskerne konkluderer, at ‘Selvom mekanismen er uklar, synes det at være, at GPU-hardwaren har evnen til at fremme træningen af DNN’er.’

Resultaterne antyder, at GPU’er kan være bedre til at undgå sadelpunkter – de områder i en gradient nedstigning, der beskriver bunden af en skråning.

Nadir af skråningerne i en gradient nedstigning er ‘sadelpunktet’, navngivet af åbenlyse årsager. Kilde: https://www.pinterest.com.au/pin/436849232581124086/

Sadelpunkter, selvom de er en hindring, er blevet stort set afvist som lette at arbejde omkring i senere tanker om optimering af stokastisk gradient nedstigning (SGD), men det nye papir foreslår ikke kun, at GPU’er kan være unikt udstyret til at undgå dem, men også, at indflydelsen af sadelpunkter måske bør genovervejes.