Mi az a metatanulás?

Mi az a metatanulás?

A gépi tanulás egyik leggyorsabban növekvő kutatási területe a meta-learning. A metatanulás a gépi tanulási kontextusban a gépi tanulási algoritmusok használata más gépi tanulási modellek betanításában és optimalizálásában. Ahogy a meta-learning egyre népszerűbbé válik, és egyre több meta-learning technikát fejlesztenek ki, előnyös, ha megértjük, mi az a meta-learning, és ismerjük a különféle alkalmazási módokat. Vizsgáljuk meg a meta-learning mögött rejlő gondolatokat, a meta-learning típusai, valamint a meta-learning használatának néhány módja.

A meta-learning kifejezést Donald Maudsley alkotta meg egy olyan folyamat leírására, amelynek során az emberek elkezdik formálni, amit tanulnak, és „egyre jobban irányítják az észlelés, a kutatás, a tanulás és a növekedés szokásait, amelyeket belsővé váltak”. Később a kognitív tudósok és pszichológusok úgy írták le a meta-learninget, mint „tanulást, hogyan kell tanulni”.

A meta-learning gépi tanulási változata esetében a „tanulás megtanulása” általános elképzelést alkalmazzák az AI-rendszerekre. A mesterséges intelligencia értelmében a meta-tanulás egy mesterségesen intelligens gép azon képessége, hogy megtanuljon különféle összetett feladatokat végrehajtani, figyelembe véve az egyik feladat megtanulásához használt elveket, és alkalmazza azokat más feladatokra. Az AI-rendszereket általában arra kell tanítani, hogy sok kis részfeladat elsajátításával egy feladatot elvégezzenek. Ez a képzés hosszú időt vehet igénybe, és az AI-ügynökök nem tudják könnyen átvinni az egyik feladat során elsajátított tudást egy másik feladatba. A meta-learning modellek és technikák létrehozása segíthet a mesterséges intelligencia megtanulásában általánosítani a tanulási módszereket, és gyorsabban sajátíthat el új készségeket.

A metatanulás típusai

Optimizer metatanulás

A meta-learninget gyakran alkalmazzák egy már meglévő neurális hálózat teljesítményének optimalizálására. Az optimalizáló metatanulási módszerek jellemzően egy másik neurális hálózat hiperparamétereinek módosításával működnek, hogy javítsák az alap neurális hálózat teljesítményét. Az eredmény az, hogy a célhálózatnak jobban kell végrehajtania azt a feladatot, amelyre kiképzik. A meta-learning optimalizáló egyik példája a hálózat használata a javításra gradiens süllyedés eredmények.

Néhány felvétel metatanulás

A néhány lépéses meta-tanulási megközelítés olyan mély neurális hálózatot tervez, amely képes általánosítani a betanítási adatkészletektől a nem látott adatkészletekig. A néhány lépésből álló osztályozás egy példánya hasonló egy normál osztályozási feladathoz, ehelyett az adatminták teljes adatkészletek. A modell számos különböző tanulási feladatra/adatkészletre van betanítva, majd a csúcsteljesítményre van optimalizálva a rengeteg betanítási feladaton és a nem látott adatokon. Ebben a megközelítésben egyetlen képzési mintát több osztályra osztanak fel. Ez azt jelenti, hogy minden képzési minta/adatkészlet két osztályból állhat, összesen 4 felvételből. Ebben az esetben a teljes képzési feladat 4 lövéses 2 osztályos osztályozási feladatként írható le.

A néhány felvételes tanulásnál az az elképzelés, hogy az egyes képzési minták minimalistaak legyenek, és a hálózat néhány kép megtekintése után megtanulja azonosítani az objektumokat. Ez nagyon hasonlít ahhoz, ahogy a gyermek megtanulja megkülönböztetni a tárgyakat, miután néhány képet lát. Ezt a megközelítést olyan technikák létrehozására használták, mint az egyszeri generatív modellek és a memóriabővített neurális hálózatok.

Metrikus metatanulás

A metrika alapú meta-tanulás a neurális hálózatok felhasználása annak meghatározására, hogy egy mérőszámot hatékonyan használnak-e, és hogy a hálózat vagy hálózatok elérik-e a célmutatót. A metrikus meta-learning hasonló a néhány lépésben történő tanuláshoz, mivel csak néhány példát használnak a hálózat betanításához és a metrikus tér megtanulásához. Ugyanazt a mérőszámot használják a különböző tartományokban, és ha a hálózatok eltérnek a metrikától, akkor hibásnak minősülnek.

Ismétlődő modell metatanulás

Az ismétlődő modell meta-tanulás a meta-learning technikák alkalmazása Recurrent Neural Networks és hasonló hosszú távú rövid távú memória hálózatokban. Ez a technika úgy működik, hogy az RNN/LSTM modellt betanítja egy adatkészlet szekvenciális megtanulására, majd ezt a betanított modellt egy másik tanuló alapjaként használja. A meta-learner átveszi azt a speciális optimalizálási algoritmust, amelyet a kezdeti modell betanításához használtak. A meta-learner örökölt paraméterezése lehetővé teszi, hogy gyorsan inicializálódjon és konvergáljon, de továbbra is képes frissíteni az új forgatókönyvekre.

Hogyan működik a metatanulás?

A meta-learning végrehajtásának pontos módja a modelltől és az adott feladat természetétől függően változik. Általában azonban meta-learning feladat magában foglalja a paraméterek átmásolását az első hálózat paramétereibe a második hálózat/az optimalizáló.

A meta-learningben két képzési folyamat létezik. A meta-learning modellt általában az alapmodellre vonatkozó több lépéses képzés után képezik. Az alapmodellt betanító előre, hátra és optimalizálási lépések után az optimalizálási modellhez az előre oktató bérlet kerül végrehajtásra. Például az alapmodell három vagy négy lépése után a rendszer kiszámolja a metaveszteséget. A meta-veszteség kiszámítása után a gradiensek kiszámításra kerülnek minden meta-paraméterhez. Miután ez megtörténik, az optimalizáló meta-paraméterei frissülnek.

A meta-veszteség kiszámításának egyik lehetősége az, hogy befejezzük a kezdeti modell előrehaladó edzési menetét, majd összevonjuk a már kiszámított veszteségeket. A meta-optimalizáló akár egy másik meta-tanuló is lehet, bár egy bizonyos ponton külön optimalizálót kell használni, mint például az ADAM vagy az SGD.

Sok mély tanulási modellnek több százezer vagy akár millió paramétere is lehet. Egy teljesen új paraméterkészlettel rendelkező meta-learner létrehozása számítási szempontból költséges lenne, ezért általában a koordináta-megosztásnak nevezett taktikát alkalmazzák. A koordináták megosztása magában foglalja a meta-tanuló/optimalizáló tervezését úgy, hogy az egyetlen paramétert tanuljon meg az alapmodellből, majd csak azt a paramétert klónozza az összes többi paraméter helyére. Az eredmény az, hogy az optimalizáló paraméterei nem függenek a modell paramétereitől.