რა არის ტრანსფერული სწავლება?

რა არის ტრანსფერული სწავლება?

მანქანათმცოდნეობის პრაქტიკისას, მოდელის მომზადებას შეიძლება დიდი დრო დასჭირდეს. მოდელის არქიტექტურის შექმნა ნულიდან, მოდელის სწავლება და შემდეგ მოდელის შესწორება არის უზარმაზარი დრო და ძალისხმევა. მანქანათმცოდნეობის მოდელის მომზადების ბევრად უფრო ეფექტური გზაა უკვე განსაზღვრული არქიტექტურის გამოყენება, პოტენციურად უკვე გამოთვლილი წონებით. ეს არის მთავარი იდეა უკან სწავლის გადაცემა, უკვე გამოყენებული მოდელის აღება და ახალი ამოცანისთვის მისი გადაყენება.

სანამ გადავიტანთ სწავლის სხვადასხვა გზებს ჩავუღრმავდეთ, მოდით, ერთი წუთით გავიგოთ, რატომ არის ტრანსფერი სწავლება ასეთი ძლიერი და სასარგებლო ტექნიკა.

ღრმა სწავლის პრობლემის გადაჭრა

როდესაც თქვენ ცდილობთ გადაჭრას ღრმა სწავლის პრობლემა, როგორიცაა გამოსახულების კლასიფიკატორის აგება, თქვენ უნდა შექმნათ მოდელის არქიტექტურა და შემდეგ მოამზადოთ მოდელი თქვენს მონაცემებზე. მოდელის კლასიფიკატორის სწავლება მოიცავს ქსელის წონების კორექტირებას, პროცესს, რომელსაც შეიძლება საათები ან დღეებიც კი დასჭირდეს, როგორც მოდელის, ასევე მონაცემთა ნაკრების სირთულის მიხედვით. ტრენინგის დრო მასშტაბირდება მონაცემთა ნაკრების ზომისა და მოდელის არქიტექტურის სირთულის შესაბამისად.

თუ მოდელი ვერ მიაღწევს ამოცანისთვის საჭირო სიზუსტეს, სავარაუდოდ, მოდელის შესწორება დასჭირდება და შემდეგ მოდელის გადამზადება. ეს ნიშნავს ტრენინგის მეტ საათს, სანამ არ მოიძებნება ოპტიმალური არქიტექტურა, ტრენინგის ხანგრძლივობა და მონაცემთა დანაყოფი. როდესაც განიხილავთ რამდენი ცვლადი უნდა იყოს ერთმანეთთან გასწორებული, რომ კლასიფიკატორი იყოს გამოსადეგი, ლოგიკურია, რომ მანქანათმცოდნეობის ინჟინრები ყოველთვის ეძებენ უფრო მარტივ, უფრო ეფექტურ გზებს მოდელების მომზადებისა და დანერგვისთვის. ამ მიზეზით შეიქმნა ტრანსფერული სწავლის ტექნიკა.

მოდელის დიზაინისა და ტესტირების შემდეგ, თუ მოდელი სასარგებლო აღმოჩნდა, მისი შენახვა და შემდგომი გამოყენება შესაძლებელია მსგავსი პრობლემებისთვის.

ტრანსფერული სწავლის სახეები

ზოგადად, არსებობს ორი განსხვავებული ტრანსფერული სწავლის სახეები: მოდელის შემუშავება ნულიდან და წინასწარ მომზადებული მოდელის გამოყენება.

როდესაც თქვენ განავითარებთ მოდელს ნულიდან, თქვენ უნდა შექმნათ მოდელის არქიტექტურა, რომელსაც შეუძლია თქვენი ტრენინგის მონაცემების ინტერპრეტაცია და მისგან შაბლონების ამოღება. მოდელის პირველად მომზადების შემდეგ, თქვენ ალბათ დაგჭირდებათ მასში ცვლილებების შეტანა, რათა მიიღოთ მოდელის ოპტიმალური შესრულება. ამის შემდეგ შეგიძლიათ შეინახოთ მოდელის არქიტექტურა და გამოიყენოთ იგი, როგორც ამოსავალი წერტილი მოდელისთვის, რომელიც გამოყენებული იქნება მსგავსი ამოცანისთვის.

მეორე პირობაში - წინასწარ მომზადებული მოდელის გამოყენება - თქვენ უბრალოდ უნდა აირჩიოთ წინასწარ მომზადებული მოდელი გამოსაყენებლად. ბევრი უნივერსიტეტი და კვლევითი გუნდი გახდის მათი მოდელის სპეციფიკაციებს ხელმისაწვდომი ზოგადი გამოყენებისთვის. მოდელის არქიტექტურის ჩამოტვირთვა შესაძლებელია წონებთან ერთად.

ტრანსფერის სწავლების ჩატარებისას, მოდელის მთელი არქიტექტურა და წონები შეიძლება გამოყენებულ იქნას დავალების შესასრულებლად, ან მოდელის მხოლოდ გარკვეული ნაწილის/ფენების გამოყენება. მხოლოდ რამდენიმე წინასწარ გაწვრთნილი მოდელის გამოყენება და დანარჩენი მოდელის სწავლება მოხსენიებულია, როგორც დახვეწა.

ქსელის დახვეწა

ქსელის დახვეწა აღწერს ქსელის მხოლოდ ზოგიერთი ფენის მომზადების პროცესს. თუ ახალი სასწავლო მონაცემთა ნაკრები ძალიან ჰგავს მონაცემთა ბაზას, რომელიც გამოიყენება ორიგინალური მოდელის მოსამზადებლად, შეიძლება გამოყენებულ იქნას მრავალი იგივე წონა.

ქსელში ფენების რაოდენობა, რომლებიც უნდა გაიყინოს და გადამზადდეს, უნდა განისაზღვროს ახალი მონაცემთა ნაკრების ზომის შესაბამისად. თუ მონაცემთა ნაკრები, რომელზედაც მიმდინარეობს ტრენინგი, მცირეა, უკეთესი პრაქტიკაა ფენების უმეტესობის შენარჩუნება ისე, როგორც არის და მოამზადოთ მხოლოდ ბოლო რამდენიმე ფენა. ეს არის იმისათვის, რომ თავიდან აიცილოთ ქსელის გადაჭარბება. გარდა ამისა, შესაძლებელია წინასწარ მომზადებული ქსელის საბოლოო ფენების ამოღება და ახალი ფენების დამატება, რომლებიც შემდეგ ივარჯიშებენ. ამის საპირისპიროდ, თუ მონაცემთა ნაკრები არის დიდი მონაცემთა ნაკრები, პოტენციურად აღემატება თავდაპირველ მონაცემთა ბაზას, მთელი ქსელი უნდა გადაიხედოს. ქსელის გამოყენება როგორც ფიქსირებული ფუნქციის ექსტრაქტორი, ქსელის უმეტესი ნაწილი შეიძლება გამოყენებულ იქნას ფუნქციების ამოსაღებად, ხოლო ქსელის მხოლოდ ბოლო ფენის გაყინვა და ტრენინგი შეიძლება.

როდესაც ქსელს აზუსტებთ, უბრალოდ გახსოვდეთ, რომ ConvNet-ის ადრინდელი ფენები შეიცავს ინფორმაციას, რომელიც წარმოადგენს სურათების უფრო ზოგად მახასიათებლებს. ეს არის ისეთი თვისებები, როგორიცაა კიდეები და ფერები. ამის საპირისპიროდ, ConvNet-ის შემდგომი ფენები შეიცავს დეტალებს, რომლებიც უფრო სპეციფიკურია ცალკეული კლასებისთვის, რომლებიც ინახება მონაცემთა ნაკრების ფარგლებში, რომლებზეც მოდელი თავდაპირველად ტრენინგი იყო. თუ თქვენ ავარჯიშებთ მოდელს მონაცემთა ბაზაზე, რომელიც საკმაოდ განსხვავდება ორიგინალური მონაცემთა ნაკრებისგან, თქვენ ალბათ გსურთ გამოიყენოთ მოდელის საწყისი ფენები ფუნქციების ამოსაღებად და უბრალოდ გადაამზადოთ დანარჩენი მოდელი.

ტრანსფერი სწავლის მაგალითები

გადაცემის სწავლის ყველაზე გავრცელებული აპლიკაციები, ალბათ, ისაა, რომელიც გამოსახულების მონაცემებს შესაყვანად იყენებს. ეს ხშირად პროგნოზირების/კლასიფიკაციის ამოცანებია. Გზა კონვოლუციური ნერვული ქსელები გამოსახულების მონაცემების ინტერპრეტაცია ემსახურება მოდელების ხელახლა გამოყენებას, რადგან კონვოლუციური ფენები ხშირად განასხვავებენ ძალიან მსგავს მახასიათებლებს. გადაცემის სწავლის საერთო პრობლემის ერთ-ერთი მაგალითია ImageNet 1000 ამოცანა, მასიური მონაცემთა ნაკრები, რომელიც სავსეა 1000 სხვადასხვა კლასის ობიექტებით. კომპანიები, რომლებიც ავითარებენ მოდელებს, რომლებიც აღწევენ მაღალ ეფექტურობას ამ მონაცემთა ბაზაში, ხშირად ავრცელებენ თავიანთ მოდელებს ლიცენზიით, რაც სხვებს საშუალებას აძლევს მათ ხელახლა გამოიყენონ. ამ პროცესის შედეგად მიღებული ზოგიერთი მოდელი მოიცავს Microsoft ResNet მოდელი, Google Inception Model და Oxford VGG მოდელი ჯგუფი.