რა არის მეტა-სწავლება?

რა არის მეტა-სწავლება?

მანქანური სწავლების კვლევის ერთ-ერთი ყველაზე სწრაფად მზარდი სფეროა მეტა-სწავლება. მეტა-სწავლება, მანქანათმცოდნეობის კონტექსტში, არის მანქანათმცოდნეობის ალგორითმების გამოყენება სხვა მანქანური სწავლის მოდელების ტრენინგსა და ოპტიმიზაციაში დასახმარებლად. რამდენადაც მეტა-სწავლება სულ უფრო პოპულარული ხდება და მეტა-სწავლების ტექნიკა ვითარდება, სასარგებლოა იმის გაგება, თუ რა არის მეტა-სწავლება და გქონდეთ იმის გაგება, თუ როგორ შეიძლება მისი გამოყენება. მოდით განვიხილოთ მეტა-სწავლის მიღმა არსებული იდეები, მეტა-სწავლების სახეები, ისევე როგორც მეტა-სწავლების გამოყენების ზოგიერთი გზა.

ტერმინი მეტა-სწავლება დონალდ მაუდსლიმ შემოიტანა პროცესის აღსაწერად, რომლითაც ადამიანები იწყებენ სწავლის ფორმირებას და „უფრო მეტად აკონტროლებენ აღქმის, კვლევის, სწავლისა და ზრდის ჩვევებს, რომლებიც მათ ინტერნალიზებული აქვთ“. მოგვიანებით, შემეცნებითი მეცნიერები და ფსიქოლოგები მეტა-სწავლებას აღწერდნენ, როგორც „სწავლა როგორ ისწავლო“.

მეტა-სწავლების მანქანური სწავლების ვერსიისთვის, ზოგადი იდეა „ისწავლო როგორ ვისწავლო“ გამოიყენება ხელოვნური ინტელექტის სისტემებზე. ხელოვნური ინტელექტის გაგებით, მეტა-სწავლება არის ხელოვნურად ინტელექტუალური აპარატის უნარი ისწავლოს როგორ შეასრულოს სხვადასხვა რთული ამოცანები, გამოიყენოს ის პრინციპები, რომლებიც გამოიყენა ერთი ამოცანის შესასწავლად და გამოიყენოს იგი სხვა ამოცანებზე. ხელოვნური ინტელექტის სისტემები, როგორც წესი, უნდა იყვნენ გაწვრთნილი ამოცანის შესასრულებლად მრავალი მცირე ქვეამოცანის დაუფლების გზით. ამ ტრენინგს შეიძლება დიდი დრო დასჭირდეს და ხელოვნური ინტელექტის აგენტები ადვილად არ გადასცემენ ცოდნას ერთი დავალების დროს მეორე დავალებაზე. მეტა-სწავლის მოდელებისა და ტექნიკის შექმნა AI-ს შეუძლია ისწავლოს სწავლის მეთოდების განზოგადება და უფრო სწრაფად შეიძინოს ახალი უნარები.

მეტა-სწავლების სახეები

ოპტიმიზატორი მეტა-სწავლება

მეტა-სწავლება ხშირად გამოიყენება უკვე არსებული ნერვული ქსელის მუშაობის ოპტიმიზაციისთვის. ოპტიმიზატორის მეტა-სწავლის მეთოდები, როგორც წესი, ფუნქციონირებს სხვადასხვა ნერვული ქსელის ჰიპერპარამეტრების შესწორებით, საბაზისო ნერვული ქსელის მუშაობის გასაუმჯობესებლად. შედეგი არის ის, რომ სამიზნე ქსელი უკეთ უნდა შეასრულოს დავალება, რომელზეც სწავლობს. მეტა-სწავლის ოპტიმიზატორის ერთ-ერთი მაგალითია ქსელის გამოყენება გასაუმჯობესებლად გრადიენტური დაღმართი შედეგი.

რამდენიმე კადრი მეტა-სწავლება

რამდენიმე კადრის მეტა-სწავლის მიდგომა არის ის, სადაც შექმნილია ღრმა ნერვული ქსელი, რომელსაც შეუძლია ტრენინგის მონაცემთა ნაკრებიდან განზოგადება უხილავ მონაცემთა ნაკრებებამდე. რამდენიმე დარტყმის კლასიფიკაციის მაგალითი ჩვეულებრივი კლასიფიკაციის დავალების მსგავსია, მაგრამ სამაგიეროდ, მონაცემთა ნიმუშები მთლიანი მონაცემთა ნაკრებია. მოდელი ივარჯიშება მრავალ განსხვავებულ სასწავლო ამოცანაზე/მონაცემთა კომპლექტზე და შემდეგ ის ოპტიმიზებულია სავარჯიშო ამოცანებისა და უხილავი მონაცემების მაქსიმალური შესრულებისთვის. ამ მიდგომით, ერთი სასწავლო ნიმუში იყოფა მრავალ კლასად. ეს ნიშნავს, რომ თითოეული სასწავლო ნიმუში/მონაცემთა ნაკრები შეიძლება შედგებოდეს ორი კლასისგან, სულ 4 გასროლისთვის. ამ შემთხვევაში, მთლიანი სავარჯიშო დავალება შეიძლება შეფასდეს, როგორც 4-დარტყმული 2-კლასიანი კლასიფიკაციის ამოცანა.

რამდენიმე კადრის სწავლისას, იდეა იმაში მდგომარეობს, რომ ტრენინგის ინდივიდუალური ნიმუშები მინიმალისტურია და ქსელს შეუძლია ისწავლოს ობიექტების ამოცნობა მხოლოდ რამდენიმე სურათის ნახვის შემდეგ. ეს ძალიან ჰგავს იმას, თუ როგორ სწავლობს ბავშვი საგნების გარჩევას რამდენიმე სურათის ნახვის შემდეგ. ეს მიდგომა გამოიყენებოდა ისეთი ტექნიკის შესაქმნელად, როგორიცაა ერთჯერადი გენერაციული მოდელები და მეხსიერების გაძლიერებული ნერვული ქსელები.

მეტა-სწავლება

მეტრულზე დაფუძნებული მეტა-სწავლება არის ნერვული ქსელების გამოყენება იმის დასადგენად, არის თუ არა მეტრიკა ეფექტურად გამოყენებული და თუ ქსელი ან ქსელები ხვდება სამიზნე მეტრიკას. მეტრიკული მეტა-სწავლება მსგავსია რამდენიმე დარტყმის სწავლისა, რადგან მხოლოდ რამდენიმე მაგალითი გამოიყენება ქსელის მოსამზადებლად და მეტრული სივრცის შესასწავლად. იგივე მეტრიკა გამოიყენება მრავალფეროვან დომენში და თუ ქსელები განსხვავდება მეტრიკისგან, ისინი ჩაითვლება წარუმატებლად.

მორეციდივე მოდელის მეტა-სწავლება

მორეციდივე მოდელის მეტასწავლება არის მეტა-სწავლის ტექნიკის გამოყენება განმეორებადი ნერვული ქსელებისა და მსგავსი გრძელვადიანი მეხსიერების ქსელებში. ეს ტექნიკა მუშაობს RNN/LSTM მოდელის სწავლებით, რათა თანმიმდევრულად ისწავლოს მონაცემთა ბაზა და შემდეგ გამოიყენოს ეს მომზადებული მოდელი, როგორც საფუძველი სხვა მოსწავლისთვის. მეტა-მსწავლელი იღებს ოპტიმიზაციის სპეციფიკურ ალგორითმს, რომელიც გამოიყენებოდა საწყისი მოდელის მოსამზადებლად. მეტა-მოსწავლის მემკვიდრეობითი პარამეტრიზაცია საშუალებას აძლევს მას სწრაფად მოახდინოს ინიციალიზაცია და კონვერტაცია, მაგრამ მაინც შეძლოს განახლება ახალი სცენარებისთვის.

როგორ მუშაობს მეტა-სწავლება?

მეტა-სწავლების ჩატარების ზუსტი მეთოდი განსხვავდება მოდელისა და ამოცანის ბუნების მიხედვით. თუმცა, ზოგადად, მეტა-სწავლის ამოცანა მოიცავს პარამეტრების კოპირებას პირველი ქსელის პარამეტრებში მეორე ქსელის/ოპტიმიზატორის.

მეტასწავლებაში ორი სასწავლო პროცესია. მეტა-სწავლის მოდელი, როგორც წესი, ივარჯიშება საბაზო მოდელზე ტრენინგის რამდენიმე ეტაპის გავლის შემდეგ. წინ, უკან და ოპტიმიზაციის საფეხურების შემდეგ, რომლებიც ავარჯიშებენ საბაზისო მოდელს, ოპტიმიზაციის მოდელისთვის ტარდება სავარჯიშო საშვი. მაგალითად, საბაზო მოდელზე ვარჯიშის სამი ან ოთხი ნაბიჯის შემდეგ, გამოითვლება მეტაზარალი. მეტა-ზარალის გამოთვლის შემდეგ, გრადიენტები გამოითვლება თითოეული მეტა-პარამეტრისთვის. ამის შემდეგ, მეტა-პარამეტრები ოპტიმიზატორში განახლდება.

მეტა-ზარალის გამოთვლის ერთ-ერთი შესაძლებლობა არის საწყისი მოდელის სავარჯიშო პასის დასრულება და შემდეგ უკვე გამოთვლილი დანაკარგების გაერთიანება. მეტა-ოპტიმიზატორი შეიძლება იყოს კიდევ ერთი მეტა-მსწავლელი, თუმცა გარკვეულ მომენტში უნდა იყოს გამოყენებული დისკრეტული ოპტიმიზატორი, როგორიცაა ADAM ან SGD.

ღრმა სწავლის ბევრ მოდელს შეიძლება ჰქონდეს ასობით ათასი ან თუნდაც მილიონობით პარამეტრი. მეტა-მოსწავლის შექმნა, რომელსაც აქვს სრულიად ახალი პარამეტრების ნაკრები, გამოთვლითი ძვირი იქნება და ამ მიზეზით, ჩვეულებრივ გამოიყენება ტაქტიკა, რომელსაც ეწოდება კოორდინატების გაზიარება. კოორდინატების გაზიარება გულისხმობს მეტა-სწავლის/ოპტიმიზატორის ინჟინერიას ისე, რომ მან ისწავლოს ერთი პარამეტრი საბაზისო მოდელიდან და შემდეგ მხოლოდ ამ პარამეტრის კლონირება მოახდინოს ყველა სხვა პარამეტრის ნაცვლად. შედეგი არის ის, რომ პარამეტრები, რომელსაც ოპტიმიზატორი ფლობს, არ არის დამოკიდებული მოდელის პარამეტრებზე.