Forskere opdager højtydende undernetværk i dybe neurale netværk

De dybe neurale netværk er ofte massive og kræver enorme mængder beregningskraft, men en ny opdagelse viser, hvordan dette kan reduceres for at udføre opgaver mere effektivt. Jonathan Frankle og hans team fra MIT har udviklet “lottery ticket-hypotesen”, som viser, hvordan der findes slankere undernetværk inden for de større neurale netværk. Disse undernetværk kan udføre opgaven mere effektivt med mindre beregningskraft, og en af de største udfordringer er at finde disse undernetværk, eller vindende lotterisedler, som teamet kalder dem.

Teamet fandt disse undernetværk inden for BERT, den bedste maskinlæringsmetode for naturlig sprogbehandling (NLP). NLP, som er en underdisciplin til kunstig intelligens (AI), er ansvarlig for at afkode og analysere menneskesprog, og det bruges til anvendelser som f.eks. tekstgenerering og chatbots.

Men BERT er stor og kræver supercomputerkraft, som er utilgængelig for de fleste brugere. Med den nye opdagelse af disse undernetværk kan det åbne op for, at flere brugere kan udnytte teknologien til at udvikle NLP-værktøjer.

“Vi er ved at nå et punkt, hvor vi må gøre disse modeller slankere og mere effektive,” siger Frankle.

Ifølge ham kan denne udvikling “reducere barriererne for indgang” til NLP.

BERT – “Obscenely dyrt” 

BERT er fundamentalt for ting som Google’s søgemaskine og har fået megen opmærksomhed siden Google udgav det i 2018. Det er en metode til at oprette neurale netværk og trænes ved at forsøge mange gange at udfylde tomme passager i skrivestykker. En af de mest imponerende funktioner ved BERT er dets massive initialtræningsdataset.

Det kan derefter justeres af brugerne til bestemte opgaver, såsom kundeservicechatbots, men igen kræver det massive mængder beregningskraft, med muligheden for parametre, der når op til 1 milliard.

“En standard BERT-model i dag – den almindelige – har 340 millioner parametre,” siger Frankle. “Dette er simpelthen for dyrt. Det er langt ud over vores beregningskapacitet, du og jeg.”

Ifølge den ledende forfatter Tianlong Chen fra University of Texas at Austin lider modeller som BERT “under enorm netværksstørrelse”, men takket være den nye forskning “synes lottery ticket-hypotesen at være en løsning.”

Effektive undernetværk 

Chen og teamet ledte efter en mindre model placeret inden for BERT, og de sammenlignede de opdagede undernetværks præstationer med den originale BERT-model. Dette blev testet på en række forskellige NLP-opgaver, herunder at besvare spørgsmål og udfylde tomme ord i en sætning.

Teamet fandt succesfulde undernetværk, der var 40 til 90 procent slankere end den originale BERT-model, med den faktiske procentdel afhængig af opgaven. Oven i dette kunne de identificere dem før opgave-specifik finjustering, hvilket resulterer i endnu færre beregningsomkostninger. En anden fordel var, at nogle af de undernetværk, der var valgt til en bestemt opgave, derefter kunne genbruges til en anden.

“Jeg var lidt chokeret over, at dette overhovedet fungerede,” siger Frankle. “Det er ikke noget, jeg tog for givet. Jeg forventede et langt mere rodigt resultat end det, vi fik.”

Ifølge Ari Morcos, en videnskabsmand fra Facebook (META ) AI Research, er denne opdagelse “overbevisende”, og “Disse modeller bliver mere og mere udbredte. Så det er vigtigt at forstå, om lottery ticket-hypotesen holder.”

Morcos siger også, at hvis disse undernetværk kunne køre med dramatisk mindre beregningskraft, ville det “være meget betydningsfuldt, da disse ekstremt store modeller i øjeblikket er meget dyre at køre.”

“Jeg ved ikke, hvor meget større vi kan gå med disse supercomputerlignende beregninger,” tilføjer Frankle. “Vi må reducere barriererne for indgang.”

“Håbet er, at dette vil reducere omkostningerne, at dette vil gøre det mere tilgængeligt for alle…for de små, der kun har en laptop,” afslutter han.

Forskningen skal præsenteres på Konferencen om neurale informationsprocesseringssystemer.