Mikä on Few-Shot Learning?

Few-shot learning viittaa joukkoon algoritmeja ja tekniikoita, joita käytetään kehittämään tekoälymallia hyvin pienellä määrällä koulutusdataa. Few-shot learning pyrkii siihen, että tekoälymalli voi tunnistaa ja luokitella uuden datan ollessaan altistunut vain muutamalle koulutusinstanssille. Few-shot koulutus poikkeaa perinteisistä menetelmistä, joissa koulutetaan koneoppimismalleja, joissa yleensä käytetään suurta määrää koulutusdataa. Few-shot learning käytetään pääasiassa tietokoneen näön alalla.

Jotta voimme kehittää paremman intuitio few-shot learningista, tarkastelemme konseptia tarkemmin. Tarkastelemme few-shot learningin taustoja ja konsepteja, tutkimme erilaisia few-shot learningin tyyppejä ja käsittelyjä, ja tarkastelemme joitain few-shot learningiin käytettyjä malleja yleisellä tasolla. Lopulta tarkastelemme few-shot learningin sovelluksia.

Mikä on Few-Shot Learning?

”Few-shot learning” kuvaa käytännön, jossa koulutetaan koneoppimismallia vähäisellä määrällä dataa. Yleensä koneoppimismallit koulutetaan suurilla määrillä dataa, mitä enemmän, sitä paremmin. Few-shot learning on kuitenkin tärkeä koneoppimisen konsepti useista syistä.

Yksi syy few-shot learningin käyttöön on, että se voi dramaattisesti vähentää koulutusdataa, jota tarvitaan tekoälymallin kouluttamiseen, mikä vähentää aikaa, joka kuluu suurten datasettien merkitsemiseen. Samoin few-shot learning vähentää tarvetta lisätä erityisiä ominaisuuksia eri tehtäviin, kun käytetään yhteistä datasettiä luomaan eri näytteitä. Few-shot learning voi tehdä malleista robusteja ja kykeneviä tunnistamaan objekteja vähemmällä datalla, luoden yleisempiä malleja verrattuna erikoistuneisiin malleihin, jotka ovat normaalia.

Few-shot learning käytetään yleisimmin tietokoneen näön alalla, koska tietokoneen näön ongelmat vaativat joko suuria määriä dataa tai joustavaa mallia.

Alaluokat

”Few-shot” learning on itse asiassa vain yksi oppimisen tyyppi, jossa käytetään vain muutamia koulutus-esimerkkejä. Koska käytetään vain ”muutamia” koulutus-esimerkkejä, on olemassa few-shot learningin alaluokkia, jotka liittyvät myös kouluttamiseen vähäisellä määrällä dataa. ”One-shot” learning on toinen mallin kouluttamisen tyyppi, jossa opetetaan malli tunnistamaan objekti vain yhden sen kuvaamisen perusteella. Yleiset taktiikat, joita käytetään one-shot learningissa ja few-shot learningissa, ovat samat. On tärkeää muistaa, että ”few-shot” learningin termejä voidaan käyttää yleisesti kuvaamaan tilanteita, joissa malli koulutetaan hyvin vähäisellä määrällä dataa.

Lähestymistavat Few-Shot Learningiin

Useimmat few-shot learningin lähestymistavat voidaan jakaa kolmeen kategoriaan: data-tasoiset lähestymistavat, parametri-tasoiset lähestymistavat ja metriikka-pohjaiset lähestymistavat.

Data-tasoiset Lähestymistavat

Data-tasoiset lähestymistavat few-shot learningiin ovat hyvin yksinkertaisia konsepteja. Jotta voimme kouluttaa mallia, kun meillä ei ole riittävästi koulutusdataa, voimme vain hankkia enemmän koulutusdataa. On olemassa useita tekniikoita, joita data-tieteilijä voi käyttää lisätäkseen koulutusdataa, jota hänellä on.

Samanlainen koulutusdata voi tukea tarkkaa kohde-dataa, jolle koulutamme luokittelijaa. Esimerkiksi, jos koulutamme luokittelijaa tunnistamaan tiettyjä koirien lajeja, mutta meillä ei ole paljon kuvia kyseisestä lajista, voimme sisällyttää paljon kuvia koirista, mikä auttaa luokittelijaa määrittämään yleiset piirteet, jotka muodostavat koiran.

Data-augmentaatio voi luoda enemmän koulutusdataa luokittelijalle. Tämä tapahtuu yleensä soveltamalla muunnoksia olemassa olevaan koulutusdataan, kuten kierto-ominaisuuksia olemassa oleviin kuviin, jotta luokittelija voi tarkastella kuvia eri kulmista. GANit voidaan myös käyttää luomaan uusia koulutus-esimerkkejä perustuen siihen, mitä ne oppivat vähäisestä aidosta koulutusdatasta, jota meillä on.

Parametri-tasoiset Lähestymistavat

Meta-oppiminen

Yksi parametri-tasoinen lähestymistapa few-shot learningiin liittyy tekniikan käyttöön, jota kutsutaan ”meta-oppimiseksi”. Meta-oppiminen liittyy opettamiseen mallille, mitkä ominaisuudet ovat tärkeitä koneoppimistehtävässä. Tämä voidaan saavuttaa luomalla menetelmä, jolla säännellään, miten mallin parametriavaruutta tutkitaan.

Meta-oppiminen käyttää kahta eri mallia: opettaja-mallia ja oppilas-mallia. ”Opettaja”-malli ja ”oppilas”-malli. Opettaja-malli oppii, miten kapseloida mallin parametriavaruus, kun taas oppilas-algoritmi oppii, miten tunnistaa ja luokitella kohteita datasetissä. Toisin sanoen opettaja-malli oppii, miten optimoida mallia, kun taas oppilas-malli oppii, miten luokitella. Opettaja-mallin tulokset käytetään oppilas-mallin kouluttamiseen, näyttäen oppilas-mallille, miten navigoida suuren parametriavaruuden ylitse, joka johtuu liian vähäisestä koulutusdatasta. Siitä johtuu ”meta” meta-oppimisessa.

Yksi few-shot learning -mallien suurimmista ongelmista on, että ne voivat helposti ylioppia koulutusdatasta, koska ne usein sisältävät korkeatulotteisia avaruuksia. Rajoittamalla mallin parametriavaruutta voidaan ratkaista tämä ongelma, ja vaikka se voidaan saavuttaa soveltamalla sääntelytekniikoita ja valitsemalla oikeat häviöfunktiot, opettaja-algoritmin käyttö voi parantaa few-shot mallin suorituskykyä merkittävästi.

Few-shot learning -luokittelijamalli (oppilas-malli) pyrkii yleistämään perustuen vähäiseen koulutusdataan, jota se on saanut, ja sen tarkkuus voidaan parantaa opettaja-mallin avulla, joka ohjaa sitä korkeatulotteisen parametriavaruuden ylitse. Tämä yleinen arkkitehtuuri tunnetaan ”gradient-pohjaisena” meta-oppimisena.

Koko prosessi gradient-pohjaisen meta-oppimisen kouluttamisesta on seuraava:

1. Luo perus-oppilas (opettaja) -malli
2. Kouluta perus-oppilas-malli tukidatassa
3. Anna perus-oppilas-mallin palauttaa ennusteet kyselydatassa
4. Kouluta meta-oppilas (oppilas) -malli häviöstä, joka johtuu luokitteluvirheestä

Meta-oppimisen Variations

Malli-agnostinen meta-oppiminen on menetelmä, jota voidaan käyttää perus gradient-pohjaisen meta-oppimisen tekniikan täydentämiseen.

Kuten mainittiin aiemmin, gradient-pohjainen meta-oppilas käyttää aiemmin opetetun opettaja-mallin kokemusta hienosäätääkseen itsensä ja toimittaa tarkemmin ennusteita vähäisellä määrällä koulutusdataa. Kuitenkin, aloittaminen satunnaisesti alkuarvoitettuina parametreina tarkoittaa, että malli voi edelleen ylioppia datasta. Jotta voidaan välttää tämä, luodaan ”malli-agnostinen” meta-oppilas rajoittamalla opettaja-mallin vaikutusta. Sen sijaan, että oppilas-malli koulutettaisiin suoraan opettaja-mallin tekemien ennusteiden häviöstä, oppilas-malli koulutetaan häviöstä, joka johtuu omista ennusteistaan.

Jokaisen malli-agnostisen meta-oppimisen koulutusjakson aikana:

1. Luo kopio nykyisestä meta-oppimismallista.
2. Kopio koulutetaan opettaja-mallin / perus-mallin avulla.
3. Kopio palauttaa ennusteet koulutusdatasta.
4. Laskettu häviö käytetään meta-oppimisen päivittämiseen.

Metric-Learning

Metric-learning lähestymistavat few-shot learning -mallin suunnittelussa tyypillisesti käyttävät perus etäisyys-mittauksia vertailemaan näytteitä datasetissä. Metric-learning algoritmit, kuten kosinietäisyys, käytetään luokittelijan luokittelua varten kysely-näytteiden perusteella niiden samankaltaisuudesta tukidatassa. Kuvaluokittelijan tapauksessa tämä tarkoittaisi vain luokittelua kuvien pintaominaisuuksien perusteella. Kun tukidatassa on valittu ja muunnettu upotusvektoriksi, tehdään sama kyselydatalle ja sitten verrataan vektorien arvoja, ja luokittelija valitsee luokan, jolla on lähimmät arvot vektoroituihin kyselyyn.

Edistyneempi metriikka-pohjainen ratkaisu on ”prototyyppiverkko”. Prototyyppiverkot ryhmittelevät datapisteet yhdistämällä klusterointimallit metriikka-pohjaiseen luokitteluun, kuten yllä kuvattu. Kuten K-keskiarvo-klusteroinnissa, lasketaan keskipisteet luokille tukidatassa ja kyselydatassa. Sitten sovelletaan euklidista etäisyysmittausta määrittämään ero kyselyjoukoissa ja tukidatassa olevien keskipisteiden välillä ja määrittämään kyselyjoukon luokan sen mukaan, mikä tukidataluokka on lähempänä.

Useimmat muut few-shot learning -lähestymistavat ovat vain muunnelmia edellä kuvatuista perustekniikoista.

Sovellukset Few-Shot Learningiin

Few-shot learningilla on sovelluksia monissa eri tieteenalojen alueilla, kuten tietokoneen näössä, luonnollisen kielen prosessoinnissa, robottiikassa, terveydenhuollossa ja signaalinkäsittelyssä.

Few-shot learningin sovellukset tietokoneen näön alalla sisältävät tehokkaan merkin tunnistamisen, kuvaluokittelun, objektitunnistamisen, objektin seuraamisen, liikkeen ennustamisen ja toiminnan sijainnin. Luonnollisen kielen prosessoinnin sovellukset few-shot learningiin sisältävät käännöksen, lauseen täydentämisen, käyttäjän aikomusten luokittelun, mielipidetutkimuksen ja moniluokan tekstin luokittelun. Few-shot learning voidaan käyttää robottiikassa auttamaan roboteja oppimaan tehtävistä vain muutamasta esimerkistä, jotta robotit voivat oppia suorittamaan toimintoja, liikkua ja navigoida ympäröivässä maailmassa. Few-shot lääkekehitys on kehittyvä ala tekoälyterveydenhuollossa. Lopulta few-shot learningilla on sovelluksia akustisen signaalinkäsittelyn alalla, joka on äänidataa analysoivien tekoälyjärjestelmien prosessi, joka antaa tekoälyjärjestelmille mahdollisuuden kloonata ääniä vain muutamasta käyttäjänäytteestä tai äänen muunnosta yhdestä käyttäjästä toiseen.