ხელოვნური ინტელექტი
Grow and Prune AI სტრატეგია, როგორც ჩანს, ამცირებს AI ენერგიის მოხმარებას
ადამიანის ტვინი ფუნქციონირებს სტრატეგიით „გაიზარდე და მორთე“, თავდაპირველად იწყება ნერვული კავშირების დიდი რაოდენობით და შემდეგ დროთა განმავლობაში წყვეტს გამოუყენებელ კავშირებს. ცოტა ხნის წინ, ხელოვნური ინტელექტის მკვლევართა ჯგუფმა გამოიყენა ეს მიდგომა ხელოვნური ინტელექტის სისტემებზე და დაადგინა, რომ მას შეუძლია მნიშვნელოვნად შეამციროს AI-ის ვარჯიშისთვის საჭირო ენერგიის რაოდენობა.
მკვლევართა გუნდი პრინსტონის უნივერსიტეტიდან ახლახან შექმნა ხელოვნური ინტელექტის სისტემების მომზადების ახალი მეთოდი. ტრენინგის ეს ახალი მეთოდი, როგორც ჩანს, შეუძლია დააკმაყოფილოს ან გადააჭარბოს ინდუსტრიის სტანდარტებს სიზუსტით, მაგრამ მას შეუძლია მიაღწიოს ამას, ხოლო ხარჯავს გაცილებით ნაკლებ გამოთვლით ენერგიას და, შესაბამისად, ნაკლებ ენერგიას, ვიდრე ტრადიციული მანქანათმცოდნეობის მოდელები. ორი განსხვავებული ნაშრომის განმავლობაში, პრინსტონის მკვლევარებმა აჩვენეს, თუ როგორ უნდა გაზარდონ ქსელი მასში ნეირონებისა და კავშირების დამატებით. გამოუყენებელი კავშირები დროთა განმავლობაში გაქრა და დარჩა მოდელის მხოლოდ ყველაზე ეფექტური და ეფექტური ნაწილები.
ნირაჯ ჯჰამ, პრინსტონის ელექტროტექნიკის პროფესორმა, განუმარტა პრინსტონს სიახლეებს, რომ მკვლევარების მიერ შემუშავებული მოდელი მოქმედებს „სტრიქონისა და ჭრის პარადიგმაზე“. ჯჰამ განმარტა, რომ ადამიანის ტვინი ყველაზე რთულია, რაც კი ოდესმე იქნება სამი წლის ასაკში და ამ მომენტის შემდეგ ტვინი იწყებს არასაჭირო სინაფსური კავშირების მოწყვეტას. შედეგი არის ის, რომ სრულად განვითარებულ ტვინს შეუძლია შეასრულოს ყველა უჩვეულოდ რთული დავალება, რომელსაც ჩვენ ყოველდღიურად ვასრულებთ, მაგრამ ის იყენებს ყველა სინაფსების დაახლოებით ნახევარს, რაც პიკს ჰქონდა. ჯაჰამ და სხვა მკვლევარებმა მიბაძეს ამ სტრატეგიას ხელოვნური ინტელექტის სწავლების გასაუმჯობესებლად.
„ჩვენი მიდგომა არის ის, რასაც ჩვენ ვუწოდებთ ზრდის-და-გასხვის პარადიგმას. ეს ჰგავს იმას, რასაც ტვინი აკეთებს ბავშვობიდან ბავშვობაში. მესამე წელს, ადამიანის ტვინი იწყებს თავის ტვინის უჯრედებს შორის კავშირების მოწყვეტას. ეს პროცესი სრულწლოვანებამდე გრძელდება, ასე რომ სრულად განვითარებული ტვინი მუშაობს სინაფსური პიკის დაახლოებით ნახევარზე. ზრდასრული ტვინი სპეციალიზირებულია ნებისმიერ ტრენინგზე, რომელიც ჩვენ მას მივაწოდეთ. ეს არ არის ისეთი კარგი ზოგადი დანიშნულების სწავლისთვის, როგორც პატარა ბავშვის ტვინი“.
მზარდი და გასხვლის ტექნიკის წყალობით, თანაბრად კარგი პროგნოზების გაკეთება შესაძლებელია მონაცემთა შაბლონების შესახებ, ადრე საჭირო გამოთვლითი სიმძლავრის მხოლოდ ნაწილის გამოყენებით. მკვლევარები მიზნად ისახავს იპოვონ ენერგიის მოხმარებისა და გამოთვლითი ღირებულების შემცირების მეთოდები, რადგან ეს არის გასაღები მანქანური სწავლების გადასატანად პატარა მოწყობილობებზე, როგორიცაა ტელეფონები და ჭკვიანი საათები. მანქანური სწავლის ალგორითმების მიერ მოხმარებული ენერგიის რაოდენობის შემცირება ასევე შეიძლება დაეხმაროს ინდუსტრიას ნახშირბადის ანაბეჭდის შემცირებაში. Xiaoliang Dai-მ, ნაშრომების პირველმა ავტორმა, განმარტა, რომ მოდელები საჭიროებს ადგილობრივ მომზადებას, რადგან ღრუბელში გადაცემა მოითხოვს დიდ ენერგიას.
პირველი კვლევის მსვლელობისას, მკვლევარები ცდილობდნენ შეექმნათ ნერვული ქსელის შექმნის ინსტრუმენტი, რომელიც მათ შეეძლოთ გამოეყენებინათ ნეირონული ქსელების ინჟინერიისთვის და ზოგიერთი ყველაზე წარმატებული ქსელის თავიდან შესაქმნელად. მას ეწოდა NeST (ნერვული ქსელის სინთეზის ხელსაწყო) და როდესაც მას მხოლოდ რამდენიმე ნეირონითა და კავშირებით მიეწოდება, ის სწრაფად იზრდება სირთულის ქსელში მეტი ნეირონების დამატებით. როგორც კი ქსელი დააკმაყოფილებს შერჩეულ ნიშნულს, ის დროთა განმავლობაში იწყებს თავის მორთვას. მიუხედავად იმისა, რომ წინა ქსელის მოდელები იყენებდნენ გასხვლის ტექნიკას, პრინსტონის მკვლევარების მიერ შემუშავებული მეთოდი იყო პირველი, რომელმაც აიღო ქსელი და მოახდინა განვითარების ეტაპების სიმულაცია, გადავიდა „ბავშვიდან“ „პატარა“ და ბოლოს „ზრდასრული ტვინში“.
მეორე ნაშრომის დროს მკვლევარები თანამშრომლობდნენ კალიფორნიის-ბერკლის უნივერსიტეტის გუნდთან და ფეისბუქთან, რათა გაეუმჯობესებინათ მათი ტექნიკა ინსტრუმენტის სახელწოდებით ქამელეონი. ქამელეონს შეუძლია დაიწყოს სასურველი საბოლოო წერტილით, სასურველი შედეგებით და იმუშაოს უკან, რათა ააშენოს სწორი ტიპის ნერვული ქსელი. ეს გამორიცხავს ქსელის ხელით შესწორებასთან დაკავშირებულ ვარაუდებს, რაც ინჟინრებს აძლევს საწყის წერტილებს, რომლებიც, სავარაუდოდ, დაუყოვნებლივ გამოდგება. ქამელეონი პროგნოზირებს სხვადასხვა არქიტექტურის შესრულებას სხვადასხვა პირობებში. ქამელეონისა და NeST ჩარჩოს შერწყმა შეიძლება დაეხმაროს კვლევით ორგანიზაციებს, რომლებსაც არ აქვთ მძიმე გამოთვლითი რესურსები, ისარგებლონ ნერვული ქსელების ძალით.
