Úgy tűnik, hogy az AI-stratégia csökkenti a mesterséges intelligencia energiafelhasználását

Az emberi agy „növekszik és metsz” stratégiával működik, kezdetben hatalmas mennyiségű idegi kapcsolattal indul, majd idővel levágja a nem használt kapcsolatokat. A közelmúltban egy mesterségesintelligencia-kutatócsoport ezt a megközelítést alkalmazta az AI-rendszerekre, és azt találta, hogy jelentősen csökkentheti a mesterséges intelligencia betanításához szükséges energiamennyiséget.

Egy kutatócsoport a Princeton Egyetemről a közelmúltban megalkotott egy új módszert a mesterséges intelligencia rendszerek képzésére. Úgy tűnik, hogy ez az új képzési módszer képes teljesíteni vagy felülmúlni az ipari pontossági szabványokat, de képes ezt elérni, miközben sokkal kevesebb számítási teljesítményt, és ezáltal kevesebb energiát fogyaszt, mint a hagyományos gépi tanulási modellek. Két különböző tanulmány során a princetoni kutatók bemutatták, hogyan lehet hálózatot kiépíteni neuronok és kapcsolatok hozzáadásával. A fel nem használt kapcsolatokat aztán idővel levágták, így a modell leghatékonyabb és leghatékonyabb részei maradtak meg.

Niraj Jha, a Princeton elektromérnöki professzora a Princeton Newsnak kifejtette, hogy a kutatók által kidolgozott modell „sor-és szilva paradigmán” működik. Jha elmagyarázta, hogy az emberi agy három éves kora körül a legösszetettebb, ami valaha is lehet, és ezt követően az agy elkezdi levágni a szükségtelen szinaptikus kapcsolatokat. Az eredmény az, hogy a teljesen fejlett agy képes elvégezni mindazokat a rendkívül összetett feladatokat, amelyeket nap mint nap végzünk, de a csúcspontján lévő szinapszisok körülbelül felét felhasználja. Jha és a többi kutató ezt a stratégiát utánozta az AI képzésének javítása érdekében.

Jha elmagyarázta:

„A mi megközelítésünk az, amit „növekedés és metszés” paradigmának nevezünk. Ez hasonló ahhoz, amit az agy csinál csecsemő korunktól egészen kisgyermek korunkig. A harmadik évében az emberi agy elkezdi megszakítani az agysejtek közötti kapcsolatokat. Ez a folyamat felnőttkorban is folytatódik, így a teljesen fejlett agy nagyjából szinaptikus csúcsának felében működik. A felnőtt agy arra specializálódott, hogy milyen képzést nyújtottunk neki. Ez nem olyan jó általános célú tanuláshoz, mint egy kisgyermek agya.”

A termesztési és metszési technikának köszönhetően ugyanolyan jó előrejelzések készíthetők az adatok mintázatairól a korábban szükséges számítási teljesítmény töredékével. A kutatók olyan módszereket keresnek, amelyek csökkentik az energiafogyasztást és a számítási költségeket, mivel ez kulcsfontosságú ahhoz, hogy a gépi tanulást kis eszközökhöz, például telefonokhoz és okosórákhoz is eljuttassák. A gépi tanulási algoritmusok által felhasznált energia mennyiségének csökkentése szintén segíthet az iparágnak a szénlábnyom csökkentésében. Xiaoliang Dai, a cikkek első szerzője kifejtette, hogy a modelleket helyben kell betanítani, mivel a felhőbe való átvitel sok energiát igényel.

Az első vizsgálat során a kutatók megpróbáltak kifejleszteni egy neurális hálózat-létrehozó eszközt, amellyel neurális hálózatokat tervezhetnek, és a semmiből újra létrehozhatták a legjobban teljesítő hálózatokat. Az eszközt NeST-nek (Neural network Synthesis Tool) hívták, és amikor csak néhány neuronnal és kapcsolattal látják el, gyorsan megnövekszik az összetettsége azáltal, hogy több neuront ad hozzá a hálózathoz. Amint a hálózat megfelel egy kiválasztott referenciaértéknek, idővel elkezdi önmagát metszeni. Míg a korábbi hálózati modellek metszési technikákat alkalmaztak, a princetoni kutatók által kidolgozott módszer volt az első, amely hálózatot készített és szimulálta a fejlődési szakaszokat, a „csecsemőtől” a „kisgyermekig” és végül a „felnőtt agyig”.

A második tanulmány során a kutatók a California-Berkely Egyetem és a Facebook csapatával együttműködve fejlesztették technikájukat a Chameleon nevű eszközzel. A Chameleon képes a kívánt végponttal, a kívánt eredményekkel kezdeni, és visszafelé haladva megépíteni a megfelelő típusú neurális hálózatot. Ez kiküszöböli a hálózat kézi beállításával járó találgatások nagy részét, így a mérnökök olyan kiindulási pontokat kapnak, amelyek valószínűleg azonnal hasznosak lesznek. A Chameleon megjósolja a különböző architektúrák teljesítményét különböző körülmények között. A Chameleon és a NeST keretrendszer kombinálása segíthet a nagy számítási erőforrásokkal nem rendelkező kutatószervezeteknek, hogy kihasználják a neurális hálózatok erejét.