AI 101
Čo je to učenie sa niekoľkými zábermi?
Niekoľkonásobné učenie sa týka rôznych algoritmov a techník používaných na vývoj modelu AI pomocou veľmi malého množstva trénovacích údajov. Niekoľkonásobné učenie sa snaží umožniť modelu AI rozpoznať a klasifikovať nové údaje po tom, čo bol vystavený pomerne malému počtu prípadov školenia. Tréning s niekoľkými zábermi je v kontraste s tradičnými metódami modelov trénovania strojového učenia, kde sa zvyčajne používa veľké množstvo tréningových dát. Učenie s niekoľkými ranami je používa sa predovšetkým v počítačovom videní.
Aby sme vyvinuli lepšiu intuíciu pre niekoľkonásobné učenie, pozrime sa na tento koncept podrobnejšie. Budeme skúmať motivácie a koncepty, ktoré stoja za učením sa niekoľkými pokusmi, preskúmame niekoľko rôznych typov učenia sa niekoľkými spôsobmi a pokryjeme niektoré modely používané pri učení na vysokej úrovni. Nakoniec preskúmame niekoľko aplikácií pre niekoľkonásobné učenie.
Čo je učenie niekoľkými strelami?
„Niekoľkokrát učenie“ opisuje prax trénovania modelu strojového učenia s minimálnym množstvom dát. Modely strojového učenia sa zvyčajne trénujú na veľkých objemoch údajov, čím väčšie, tým lepšie. Niekoľkonásobné učenie je však dôležitým konceptom strojového učenia z niekoľkých rôznych dôvodov.
Jedným z dôvodov používania učenia s niekoľkými zábermi je to, že môže dramaticky znížiť množstvo údajov potrebných na trénovanie modelu strojového učenia, čo skracuje čas potrebný na označenie veľkých súborov údajov. Podobne aj niekoľkonásobné učenie znižuje potrebu pridávať špecifické funkcie pre rôzne úlohy pri použití spoločného súboru údajov na vytváranie rôznych vzoriek. Niekoľkonásobné učenie môže v ideálnom prípade urobiť modely robustnejšími a schopnými rozpoznať objektovo založené na menšom množstve údajov, čím sa vytvárajú všeobecnejšie modely na rozdiel od vysoko špecializovaných modelov, ktoré sú štandardom.
Učenie s malým počtom snímok sa najčastejšie používa v oblasti počítačového videnia, pretože povaha problémov s počítačovým videním si vyžaduje buď veľké objemy údajov, alebo flexibilný model.
Podkategórie
Fráza „niekoľkonásobné“ učenie je v skutočnosti len jedným typom učenia s použitím veľmi malého počtu príkladov školenia. Keďže používate len „niekoľko“ príkladov školenia, existujú podkategórie niekoľkonásobného učenia, ktoré tiež zahŕňa školenie s minimálnym množstvom údajov. „Jednorazové“ učenie je ďalším typom modelového tréningu, ktorý zahŕňa výučbu modelu, aby rozpoznal objekt po tom, čo videl iba jeden obrázok tohto objektu. Všeobecné taktiky používané v rámci jednorazového učenia a učenia s niekoľkými ranami sú rovnaké. Uvedomte si, že termín „niekoľko-výstrelové“ učenie sa môže použiť ako zastrešujúci termín na opis akejkoľvek situácie, keď sa model trénuje s veľmi malým množstvom údajov.
Prístupy k učeniu niekoľkých výstrelov
Väčšina prístupov učenia sa môže zapadnúť do jednej z troch kategórií: prístupy na úrovni údajov, prístupy na úrovni parametrov a prístupy založené na metrikách.
Prístupy na úrovni údajov
Prístupy na úrovni údajov k učeniu s niekoľkými zábermi sú z hľadiska koncepcie veľmi jednoduché. Ak chcete trénovať model, keď nemáte dostatok tréningových údajov, môžete získať viac tréningových údajov. Existujú rôzne techniky, ktoré môže dátový vedec použiť na zvýšenie množstva tréningových dát, ktoré majú.
Podobné tréningové údaje môžu zálohovať presné cieľové údaje, na ktorých trénujete klasifikátor. Ak napríklad trénujete klasifikátora na rozpoznávanie špecifických druhov psov, ale chýba vám veľa obrázkov konkrétneho druhu, ktorý ste sa pokúšali klasifikovať, môžete zahrnúť veľa obrázkov psov, ktoré by pomohli klasifikátorovi určiť všeobecné znaky, z ktorých sa pes skladá. .
Rozšírenie údajov môže vytvoriť viac tréningových údajov pre klasifikátor. Zvyčajne to zahŕňa aplikovanie transformácií na existujúce tréningové údaje, ako je rotácia existujúcich obrázkov tak, aby klasifikátor skúmal obrázky z rôznych uhlov. GAN je možné použiť aj na generovanie nových tréningových príkladov na základe toho, čo sa naučia z niekoľkých autentických príkladov tréningových dát, ktoré máte.
Prístupy na úrovni parametrov
Meta-učenie
Jeden prístup k učeniu na úrovni parametrov zahŕňa použitie techniky nazývanej „meta-učenie“. Meta-učenie zahŕňa učiť model, ako sa učiť ktoré funkcie sú dôležité v úlohe strojového učenia. To sa dá dosiahnuť vytvorením metódy na reguláciu toho, ako sa skúma priestor parametrov modelu.
Meta-learning využíva dva rôzne modely: model učiteľa a model študenta. „Učiteľský“ model a „študentský“ model. Učiteľský model sa učí, ako zapuzdriť priestor parametrov, zatiaľ čo študentský algoritmus sa učí, ako rozpoznať a klasifikovať skutočné položky v množine údajov. Inak povedané, model učiteľa sa učí optimalizovať model, zatiaľ čo model študenta sa učí klasifikovať. Výstupy modelu učiteľa sa používajú na trénovanie modelu študenta, pričom modelom študenta ukazujú, ako sa dohodnúť na veľkom priestore parametrov, ktorý je výsledkom príliš malého množstva trénovacích údajov. Preto „meta“ v metaučení.
Jedným z hlavných problémov modelov učenia s niekoľkými zábermi je to, že sa môžu ľahko preplniť na tréningových údajoch, pretože často majú vysokorozmerné priestory. Obmedzenie priestoru parametrov modelu tento problém rieši, a hoci ho možno dosiahnuť aplikáciou techník regularizácie a výberom správnych stratových funkcií, použitie učiteľského algoritmu môže výrazne zlepšiť výkon niekoľkonásobného modelu.
Niekoľkonásobný model klasifikácie učenia (model študenta) sa bude snažiť zovšeobecniť na základe malého množstva trénovacích údajov, ktoré sú mu poskytnuté, a jeho presnosť sa môže zlepšiť pomocou modelu učiteľa, ktorý ho nasmeruje cez priestor vysokorozmerných parametrov. Táto všeobecná architektúra sa označuje ako „gradient-based“ meta-learner.
Celý proces školenia meta učiaceho sa gradientu je nasledovný:
- Vytvorte model základného žiaka (učiteľa).
- Trénujte model základného žiaka na podpornej súprave
- Nechajte, aby základný študent vrátil predpovede pre dotaz
- Vyškolte meta-učiteľa (študenta) o strate odvodenej z klasifikačnej chyby
Variácie na Meta-learning
Model-agnostické meta-learning je metóda používaná na rozšírenie základnej techniky meta-learningu založenej na gradiente, o ktorej sme sa zmienili vyššie.
Ako sme uviedli vyššie, meta-učiteľ založený na gradiente využíva predchádzajúce skúsenosti získané modelom učiteľa doladiť sa a poskytovať presnejšie predpovede pre malé množstvo tréningových údajov. Začať s náhodne inicializovanými parametrami však znamená, že model môže stále potenciálne prepĺňať údaje. Aby sa tomu predišlo, vytvára sa „model-agnostik“ meta-učiaci sa obmedzením vplyvu modelu učiteľa/základného modelu. Namiesto trénovania študentského modelu priamo na stratu pre predpovede vytvorené učiteľským modelom je študentský model trénovaný na stratu pre svoje vlastné predpovede.
Pre každú epizódu tréningu model-agnostik meta-učiteľ:
- Vytvorí sa kópia aktuálneho modelu meta-učiteľa.
- Kópia sa trénuje s pomocou základného modelu/modelu učiteľa.
- Kópia vráti predpovede pre tréningové dáta.
- Vypočítaná strata sa používa na aktualizáciu meta-učiteľa.
Metrické učenie
Metrické učebné prístupy k navrhovaniu niekoľkonásobného vzdelávacieho modelu zvyčajne zahŕňajú the,en používanie základných metrík vzdialenosti na porovnanie vzoriek v súbore údajov. Algoritmy metrického učenia, ako je kosínusová vzdialenosť, sa používajú na klasifikáciu vzoriek dotazov na základe ich podobnosti s podpornými vzorkami. Pre klasifikátor obrázkov by to znamenalo len klasifikáciu obrázkov na základe podobnosti povrchových charakteristík. Po výbere podpornej sady obrázkov a transformácii na vektor na vkladanie sa to isté urobí so sadou dotazov a potom sa porovnajú hodnoty pre dva vektory, pričom klasifikátor vyberie triedu, ktorá má najbližšie hodnoty k vektorizovanej sade dotazov. .
Pokročilejšie riešenie založené na metrikách je „prototypová sieť“. Prototypické siete zhlukujú dátové body a kombinujú klastrovacie modely s vyššie opísanou klasifikáciou založenou na metrikách. Podobne ako v prípade klastrovania K-means sa centroidy pre klastre vypočítavajú pre triedy v súboroch podpory a dotazov. Potom sa použije euklidovská metrika vzdialenosti na určenie rozdielu medzi sadami dotazov a ťažiskami podpornej sady, pričom sa sada dotazov priradí podľa toho, ktorá trieda množiny podpory je bližšie.
Väčšina ostatných prístupov k výučbe s niekoľkými ranami je len variáciami na vyššie uvedené základné techniky.
Aplikácie na výučbu niekoľkých výstrelov
Niekoľkonásobné učenie má uplatnenie v mnohých rôznych podpoliach vedy o údajoch, ako je počítačové videnie, spracovanie prirodzeného jazyka, robotika, zdravotníctvo a spracovanie signálov.
Aplikácie pre niekoľkonásobné učenie v priestore počítačového videnia zahŕňajú efektívne rozpoznávanie znakov, klasifikáciu obrázkov, rozpoznávanie objektov, sledovanie objektov, predikciu pohybu a lokalizáciu akcií. Aplikácie na spracovanie prirodzeného jazyka pre niekoľkonásobné učenie zahŕňajú preklad, dokončovanie viet, klasifikáciu zámerov používateľa, analýzu sentimentu a klasifikáciu textu s viacerými štítkami. V oblasti robotiky možno použiť niekoľkonásobné učenie, ktoré pomôže robotom dozvedieť sa o úlohách len z niekoľkých ukážok, čo umožní robotom naučiť sa, ako vykonávať akcie, pohybovať sa a navigovať vo svete okolo seba. Objavovanie niekoľkých liekov je novou oblasťou zdravotnej starostlivosti AI. A nakoniec, niekoľkonásobné učenie má aplikácie na spracovanie akustických signálov, čo je proces analýzy zvukových údajov, ktorý umožňuje systémom AI klonovať hlasy na základe niekoľkých používateľských vzoriek alebo konverzie hlasu z jedného používateľa na druhého.
