Шта је мета-учење?

Шта је мета-учење?

Једна од најбрже растућих области истраживања машинског учења је област мета-учење. Мета-учење, у контексту машинског учења, је употреба алгоритама машинског учења за помоћ у обуци и оптимизацији других модела машинског учења. Како мета-учење постаје све популарније и развија се више техника мета-учења, корисно је разумети шта је мета-учење и имати увид у различите начине на које се оно може применити. Хајде да испитамо идеје иза мета-учења, врсте мета-учења, као и неки од начина на који се мета-учење може користити.

Термин мета-учење је сковао Доналд Модсли да опише процес којим људи почињу да обликују оно што уче, постајући „све више у контроли навика перцепције, истраживања, учења и раста које су интернализовали“. Касније, когнитивни научници и психолози би описали мета-учење као „учење како учити“.

За верзију мета-учења за машинско учење, општа идеја „учење како да учи“ примењује се на системе вештачке интелигенције. У смислу вештачке интелигенције, мета-учење је способност вештачки интелигентне машине да научи како да обавља различите сложене задатке, узимајући принципе које је користила за учење једног задатка и примењујући их на друге задатке. Системи вештачке интелигенције обично морају да буду обучени да остваре задатак кроз савладавање многих малих подзадатака. Ова обука може потрајати дуго, а АИ агенти не преносе лако знање научено током једног задатка на други задатак. Креирање модела и техника мета-учења може помоћи вештачкој интелигенцији да научи да генерализује методе учења и брже стекне нове вештине.

Врсте мета-учења

Мета-учење оптимизатора

Мета-учење се често користи за оптимизацију перформанси већ постојеће неуронске мреже. Методе мета-учења оптимизатора обично функционишу подешавањем хиперпараметара различите неуронске мреже како би се побољшале перформансе основне неуронске мреже. Резултат је да циљна мрежа треба да постане боља у обављању задатка за који се обучава. Један пример оптимизатора мета-учења је коришћење мреже за побољшање градијентно спуштање резултати.

Мета-учење неколико снимака

Приступ мета-учењу са неколико снимака је онај где је пројектована дубока неуронска мрежа која је способна да се генерализује из скупова података за обуку на невидљиве скупове података. Пример класификације са неколико снимака је сличан нормалном задатку класификације, али уместо тога, узорци података су цели скупови података. Модел је обучен за многе различите задатке учења/скупове података, а затим је оптимизован за врхунске перформансе на мноштву задатака обуке и невидљивих података. У овом приступу, један узорак обуке је подељен у више класа. То значи да би сваки узорак/скуп података за обуку потенцијално могао бити састављен од две класе, за укупно 4 снимка. У овом случају, укупни задатак обуке могао би се описати као класификациони задатак са 4 метка у 2 класе.

У учењу са неколико снимака, идеја је да су појединачни узорци за обуку минималистички и да мрежа може научити да идентификује објекте након што види само неколико слика. Ово је слично томе како дете учи да разликује предмете након што види само неколико слика. Овај приступ је коришћен за креирање техника као што су једнократни генеративни модели и неуронске мреже са повећаном меморијом.

Метричко мета-учење

Мета-учење засновано на метрици је коришћење неуронских мрежа како би се утврдило да ли се метрика ефикасно користи и да ли мрежа или мреже постижу циљну метрику. Метричко мета-учење је слично учењу у неколико снимака по томе што се само неколико примера користи да би се мрежа обучила и научила метрички простор. Иста метрика се користи у различитим доменима и ако се мреже разликују од метрике, сматра се да су неуспешне.

Рекурентни модел мета-учења

Рекурентни модел мета-учења је примена техника мета-учења на рекурентне неуронске мреже и сличне мреже дуготрајне меморије. Ова техника функционише тако што обучава РНН/ЛСТМ модел да секвенцијално учи скуп података, а затим користи овај обучени модел као основу за другог ученика. Мета-ученик узима у обзир специфични алгоритам оптимизације који је коришћен за обуку почетног модела. Наслеђена параметризација мета-ученика омогућава му да се брзо иницијализује и конвергира, али и даље може да се ажурира за нове сценарије.

Како функционише мета-учење?

Тачан начин на који се спроводи мета-учење варира у зависности од модела и природе задатка. Међутим, генерално, задатак мета учења укључује копирање параметара прве мреже у параметре друге мреже/оптимизатора.

Постоје два процеса обуке у метаучењу. Модел мета-учења се обично обучава након неколико корака обуке на основном моделу. Након корака унапред, уназад и оптимизације који обучавају основни модел, за оптимизацијски модел се спроводи пролаз обуке унапред. На пример, након три или четири корака обуке на основном моделу, израчунава се мета-губитак. Након што је мета-губитак израчунат, градијенти се израчунавају за сваки мета-параметар. Након што се то догоди, мета-параметри у оптимизатору се ажурирају.

Једна од могућности за израчунавање мета-губитака је да се заврши пролаз за обуку унапред иницијалног модела и затим комбинују губици који су већ израчунати. Мета-оптимизатор би чак могао да буде још један мета-ученик, иако се у одређеном тренутку мора користити дискретни оптимизатор као што је АДАМ или СГД.

Многи модели дубоког учења могу имати стотине хиљада или чак милионе параметара. Стварање мета-ученика који има потпуно нови скуп параметара било би рачунски скупо, и из тог разлога се обично користи тактика која се зове дељење координата. Дељење координата подразумева пројектовање мета-ученика/оптимизатора тако да научи један параметар из основног модела, а затим само клонира тај параметар уместо свих осталих параметара. Резултат је да параметри које оптимизатор поседује не зависе од параметара модела.