Kweek en snoei KI-strategie blyk KI-energieverbruik te verminder

Die menslike brein werk met 'n "groei en snoei"-strategie, wat aanvanklik met 'n massiewe hoeveelheid neurale verbindings begin en dan die ongebruikte verbindings mettertyd wegsnoei. Onlangs het 'n span KI-navorsings hierdie benadering op KI-stelsels toegepas en gevind dat dit die hoeveelheid energie wat nodig is om 'n KI op te lei aansienlik kan verminder.

'n Span navorsers van Princeton Universiteit het onlangs 'n nuwe metode geskep om kunsmatige intelligensiestelsels op te lei. Dit lyk asof hierdie nuwe opleidingsmetode in staat is om aan die industriestandaarde vir akkuraatheid te voldoen of te oortref, maar dit kan dit bereik terwyl dit baie minder rekenkrag, en dus minder energie, verbruik as tradisionele masjienleermodelle. In die loop van twee verskillende referate het die Princeton-navorsers gedemonstreer hoe om 'n netwerk te laat groei deur neurone en verbindings daarby te voeg. Die ongebruikte verbindings is dan mettertyd weggesnoei, wat net die doeltreffendste en doeltreffendste gedeeltes van die model oorbly.

Niraj Jha, professor in Elektriese Ingenieurswese by Princeton, het aan Princeton News verduidelik dat die model wat deur die navorsers ontwikkel is, op 'n "ry-en-snoei-paradigma" werk. Jha het verduidelik dat 'n mens se brein die mees komplekse is wat dit ooit sal wees op ongeveer drie jaar oud, en na hierdie punt begin die brein om onnodige sinaptiese verbindings weg te sny. Die gevolg is dat die ten volle ontwikkelde brein in staat is om al die buitengewoon komplekse take wat ons elke dag doen uit te voer, maar dit gebruik ongeveer die helfte van al die sinapse wat dit op sy hoogtepunt gehad het. Jha en die ander navorsers het hierdie strategie nageboots om die opleiding van KI te verbeter.

Jha het verduidelik:

“Ons benadering is wat ons 'n groei-en-snoei-paradigma noem. Dit is soortgelyk aan wat 'n brein doen van wanneer ons 'n baba is tot wanneer ons 'n kleuter is. In sy derde jaar begin die menslike brein verbindings tussen breinselle wegknip. Hierdie proses gaan voort tot in volwassenheid, sodat die ten volle ontwikkelde brein op ongeveer die helfte van sy sinaptiese piek werk. Die volwasse brein is gespesialiseerd vir watter opleiding ons dit ook al verskaf het. Dit is nie so goed vir algemene leer as 'n kleuterbrein nie.”

Danksy die groei- en snoeitegniek kan ewe goeie voorspellings gemaak word oor patrone in data met slegs 'n fraksie van die berekeningskrag wat voorheen vereis is. Navorsers poog om metodes te vind om energieverbruik en berekeningskoste te verminder, aangesien dit die sleutel is om masjienleer na klein toestelle soos fone en slimhorlosies te bring. Die vermindering van die hoeveelheid energie wat deur masjienleeralgoritmes verbruik word, kan ook die industrie help om sy koolstofvoetspoor te verminder. Xiaoliang Dai, die eerste skrywer op die koerante, het verduidelik dat die modelle plaaslik opgelei moet word as gevolg van oordrag na die wolk wat baie energie verg.

Gedurende die loop van die eerste studie het die navorsers probeer om 'n instrument vir die skep van neurale netwerke te ontwikkel wat hulle kon gebruik om neurale netwerke te ontwerp en van die beste presterende netwerke van nuuts af te herskep. Die instrument is NeST (Neural Network Synthesis Tool) genoem, en wanneer dit van net 'n paar neurone en verbindings voorsien word, neem dit vinnig toe in kompleksiteit deur meer neurone by die netwerk te voeg. Sodra die netwerk aan 'n geselekteerde maatstaf voldoen, begin dit homself mettertyd snoei. Terwyl vorige netwerkmodelle snoeitegnieke gebruik het, was die metode wat deur die Princeton-navorsers ontwerp is die eerste om 'n netwerk te neem en fases van ontwikkeling te simuleer, van "baba" tot "kleuter" en uiteindelik na "volwasse brein".

Tydens die tweede referaat het die navorsers met 'n span van die Universiteit van Kalifornië-Berkely en Facebook saamgewerk om hul tegniek te verbeter deur 'n instrument genaamd Chameleon te gebruik. Chameleon is in staat om met die verlangde eindpunt, die gewenste uitkomste te begin en agteruit te werk om die regte tipe neurale netwerk te bou. Dit elimineer baie van die raaiwerk wat betrokke is by die handmatige aanpassing van 'n netwerk, wat ingenieurs beginpunte gee wat waarskynlik onmiddellik nuttig sal wees. Chameleon voorspel die prestasie van verskillende argitekture onder verskillende omstandighede. Die kombinasie van Chameleon en die NeST-raamwerk kan navorsingsorganisasies wat nie swaar berekeningshulpbronne het nie, help om voordeel te trek uit die krag van neurale netwerke.