Мета-сургалт гэж юу вэ?

Мета-сургалт гэж юу вэ?

Машин сургалтын судалгааны хамгийн хурдацтай хөгжиж буй чиглэлүүдийн нэг бол мета-сургалт. Мета-сургалт нь машин сургалтын хүрээнд бусад машин сургалтын загваруудыг сургах, оновчтой болгоход туслах зорилгоор машин сургалтын алгоритмуудыг ашиглах явдал юм. Мета-сургалт улам бүр түгээмэл болж, илүү олон мета-сургалт хийх арга техникүүд хөгжиж байгаа тул мета-сургалт гэж юу болох талаар ойлголттой болж, түүнийг хэрхэн ашиглаж болох талаар ойлголттой байх нь ашигтай юм. Мета-сургалтын цаад санааг авч үзье. мета-сургалтын төрлүүд, түүнчлэн мета-сургалтыг ашиглах зарим арга замууд.

Мета-сургалт гэдэг нэр томьёог Дональд Маудсли хүмүүс сурсан зүйлээ хэлбэржүүлж, "өөрсдөдөө өөртөө шингээсэн ойлголт, эрэл хайгуул, суралцах, өсөлтийн дадал зуршилдаа улам бүр хяналт тавих" үйл явцыг тайлбарлах зорилгоор бий болгосон. Хожим нь танин мэдэхүйн эрдэмтэд, сэтгэл судлаачид мета-сургалтыг "хэрхэн сурахыг сурах" гэж тодорхойлсон.

Мета сургалтын машин сургалтын хувилбарын хувьд AI системд "хэрхэн сурах" гэсэн ерөнхий санааг ашигладаг. AI утгаараа мета-сургалт гэдэг нь хиймэл оюун ухаант машин нь янз бүрийн нарийн төвөгтэй даалгавруудыг хэрхэн гүйцэтгэж сурах, нэг даалгаврыг сурахдаа ашигласан зарчмуудыг авч, бусад даалгаварт хэрэгжүүлэх чадвар юм. AI системийг ихэвчлэн олон жижиг дэд даалгавруудыг эзэмшсэнээр даалгавраа биелүүлэхийн тулд сургах шаардлагатай болдог. Энэхүү сургалт нь удаан хугацаа шаардагдах бөгөөд хиймэл оюун ухааны агентууд нэг даалгаврын явцад олж авсан мэдлэгээ нөгөө даалгаварт амархан шилжүүлдэггүй. Мета-сургалтын загвар, арга техникийг бий болгох нь хиймэл оюун ухаанд сургалтын арга барилыг ерөнхийд нь нэгтгэж, шинэ ур чадварыг хурдан эзэмшихэд тусална.

Мета сургалтын төрлүүд

Optimizer Meta-Learning

Мета-сургалт нь аль хэдийн байгаа мэдрэлийн сүлжээний гүйцэтгэлийг оновчтой болгохын тулд ихэвчлэн ашиглагддаг. Optimizer мета сургалтын аргууд нь үндсэн мэдрэлийн сүлжээний гүйцэтгэлийг сайжруулахын тулд өөр мэдрэлийн сүлжээний гиперпараметрүүдийг өөрчлөх замаар ажилладаг. Үүний үр дүнд зорилтот сүлжээ нь сургаж буй даалгавраа илүү сайн гүйцэтгэх ёстой. Мета-сургалт оновчтой болгох нэг жишээ бол сүлжээг сайжруулахын тулд ашиглах явдал юм градиент уналт үр дүн.

Цөөн зураг мета-сургалт

Хэд хэдэн удаагийн мета-сургалт арга нь сургалтын өгөгдлийн багцаас үл үзэгдэх өгөгдлийн багц руу нэгтгэх чадвартай гүн мэдрэлийн сүлжээг зохион бүтээсэн арга юм. Цөөн удаагийн ангиллын жишээ нь ердийн ангиллын даалгавартай төстэй боловч үүний оронд өгөгдлийн дээж нь бүхэл өгөгдлийн багц юм. Загвар нь олон төрлийн сургалтын даалгавар/өгөгдлийн багц дээр бэлтгэгдсэн бөгөөд дараа нь олон тооны сургалтын даалгавар болон үл үзэгдэх өгөгдлүүдийн хамгийн дээд гүйцэтгэлд зориулж оновчтой болгосон. Энэ аргын хувьд нэг сургалтын дээжийг олон ангид хуваадаг. Энэ нь сургалтын түүвэр/өгөгдлийн багц бүрийг хоёр ангиас бүрдэх боломжтой бөгөөд нийт 4 удаагийн давтамжтай байж болно гэсэн үг юм. Энэ тохиолдолд сургалтын нийт даалгаврыг 4 удаагийн 2 ангиллын ангиллын даалгавар гэж тодорхойлж болно.

Хэдхэн удаагийн сургалтанд сургалтын бие даасан дээжүүд нь минималист бөгөөд сүлжээ хэдхэн зургийг үзсэний дараа объектыг таньж сурах боломжтой гэсэн санаа юм. Энэ нь хүүхэд хэдхэн зураг үзээд объектыг ялгаж сурдагтай адил юм. Энэ аргыг нэг удаагийн үүсгэгч загвар, санах ойг нэмэгдүүлсэн мэдрэлийн сүлжээ зэрэг техникийг бий болгоход ашигласан.

Метрийн мета-сургалт

Метрик дээр суурилсан мета-сургалт нь хэмжигдэхүүнийг үр дүнтэй ашиглаж байгаа эсэх, сүлжээ эсвэл сүлжээ зорилтот хэмжигдэхүүнд хүрч байгаа эсэхийг тодорхойлох мэдрэлийн сүлжээг ашиглах явдал юм. Метрийн мета-сургалт нь сүлжээг сургах, метрийн орон зайг сургахад хэдхэн жишээ ашигладаг тул цөөхөн удаагийн сургалттай төстэй. Ижил хэмжүүрийг янз бүрийн домэйн дээр ашигладаг бөгөөд хэрэв сүлжээнүүд хэмжигдэхүүнээсээ ялгаатай бол тэдгээр нь амжилтгүй болсон гэж тооцогддог.

Давтагдах загвар мета-сургалт

Давтагдах загварын мета-сургалт гэдэг нь давтагдах мэдрэлийн сүлжээ болон ижил төстэй Урт богино хугацааны санах ойн сүлжээнд мета-сургалт хийх арга техникийг ашиглах явдал юм. Энэ техник нь RNN/LSTM загварыг өгөгдлийн багцыг дараалан сурахад сургаж, дараа нь энэ сургагдсан загварыг өөр суралцагчдад үндэс болгон ашиглах замаар ажилладаг. Мета-сурагч нь анхны загварыг сургахад ашигласан тусгай оновчлолын алгоритмыг өөртөө авдаг. Мета-сурагчийн удамшсан параметржуулалт нь түүнийг хурдан эхлүүлэх, нэгтгэх боломжийг олгодог боловч шинэ хувилбаруудад шинэчлэх боломжтой хэвээр байна.

Мета-сургалт хэрхэн ажилладаг вэ?

Мета-сургалт хийх арга нь тухайн загвар болон даалгаврын шинж чанараас хамаарч өөр өөр байдаг. Гэсэн хэдий ч ерөнхийдөө мета сургалтын даалгавар параметрүүдийг хуулбарлахыг хамарна эхний сүлжээг хоёр дахь сүлжээний/оптимизаторын параметрт оруулна.

Мета-сургалтанд хоёр сургалтын үйл явц байдаг. Мета сургалтын загварыг үндсэн загвар дээр хэд хэдэн шат дамжлагаар сургасны дараа ихэвчлэн сургадаг. Үндсэн загварыг сургах урагшлах, ухрах, оновчтой болгох алхмуудын дараа оновчлолын загварт зориулж урагшлах сургалтын дамжуулалтыг гүйцэтгэдэг. Жишээлбэл, үндсэн загвар дээр гурваас дөрвөн үе шаттайгаар сургасны дараа мета алдагдлыг тооцдог. Мета алдагдлыг тооцоолсны дараа мета-параметр тус бүрээр градиентийг тооцоолно. Үүнийг хийсний дараа оптимизатор дахь мета-параметрүүд шинэчлэгдэнэ.

Мета алдагдлыг тооцоолох нэг боломж бол эхний загварт сургалтын дамжуулалтыг дуусгаж, дараа нь аль хэдийн тооцоолсон алдагдлыг нэгтгэх явдал юм. Мета-оновчлогч нь өөр мета-сурагч байж болох ч тодорхой үед ADAM эсвэл SGD гэх мэт салангид оновчлогчийг ашиглах ёстой.

Гүн сургалтын олон загвар нь хэдэн зуун мянга, бүр сая сая параметртэй байж болно. Цоо шинэ параметрүүдтэй мета суралцагчийг бий болгох нь тооцооллын хувьд үнэтэй байх бөгөөд ийм учраас координат хуваалцах тактикийг ихэвчлэн ашигладаг. Координат хуваах нь үндсэн загвараас нэг параметрийг сурч, дараа нь бусад бүх параметрийн оронд тухайн параметрийг хувилахын тулд мета-сурагч/оновчлогчийг инженерчлэх явдал юм. Үр дүн нь оптимизаторын параметрүүд нь тухайн загварын параметрүүдээс хамаардаггүй.