როგორ ხდება ენის დამუშავების გაუმჯობესება Google-ის ღია კოდის BERT მოდელის მეშვეობით

ორმხრივი კოდირების წარმოდგენები ტრანსფორმერებისგან, სხვაგვარად ცნობილი როგორც BERT; არის ტრენინგის მოდელი, რომელმაც მკვეთრად გააუმჯობესა NLP მოდელების ეფექტურობა და ეფექტი. ახლა, როცა Google-მა BERT-ის მოდელები ღია წყაროდ აქცია, ის საშუალებას აძლევს NLP მოდელების გაუმჯობესებას ყველა ინდუსტრიაში. სტატიაში ჩვენ გადავხედავთ, თუ როგორ აქცევს BERT NLP-ს ერთ-ერთ ყველაზე მძლავრ და სასარგებლო AI გადაწყვეტად დღევანდელ მსოფლიოში. 

BERT მოდელების გამოყენება ძიებაში

Google-ის საძიებო სისტემა მსოფლიოში ცნობილია შესაბამისი შინაარსის წარდგენის უნარით და მათ ეს ბუნებრივი ენის დამუშავების პროგრამა ღია წყაროდ აქციეს მსოფლიოსთვის.

ბუნებრივი ენის წაკითხვისა და ინტერპრეტაციის სისტემის უნარი სულ უფრო და უფრო სასიცოცხლოდ მნიშვნელოვანია, რადგან სამყარო ექსპონენტურად აწარმოებს ახალ მონაცემებს. Google-ის სიტყვების მნიშვნელობების, ფრაზების ბიბლიოთეკა და შესაბამისი შინაარსის წარმოდგენის ზოგადი შესაძლებლობა არის ღია წყარო. ბუნებრივი ენის დამუშავების გარდა, მათ BERT მოდელს აქვს უნარი ამოიღოს ინფორმაცია დიდი რაოდენობით არასტრუქტურირებული მონაცემებიდან და შეიძლება გამოყენებულ იქნას ნებისმიერი ბიბლიოთეკის საძიებო ინტერფეისების შესაქმნელად. ამ სტატიაში ჩვენ ვნახავთ, თუ როგორ შეიძლება ამ ტექნოლოგიის გამოყენება ენერგეტიკის სექტორში. 

BERT (ორმხრივი შიფრატორის წარმოდგენები ტრანსფორმერებისგან) არის წინასწარი ტრენინგის მიდგომა შემოთავაზებული Google AI ენა ჯგუფი, შემუშავებული ადრეული NLP მოდელების საერთო პრობლემის დასაძლევად: საკმარისი ტრენინგის მონაცემების ნაკლებობა.

მოდით დეტალურად განვმარტოთ, ზედმეტი დეტალების გარეშე:

ტრენინგის მოდელები

დაბალი დონის (მაგ. დასახელებული ერთეულის ამოცნობა, თემის სეგმენტაცია) და მაღალი დონის (მაგ. განწყობის ანალიზი, მეტყველების ამოცნობა) NLP ამოცანები მოითხოვს ამოცანის სპეციფიკურ ანოტირებულ მონაცემთა ნაკრებებს. მიუხედავად იმისა, რომ მათი შოვნა რთულია და აწყობა ძვირია, ეტიკეტირებული მონაცემთა ნაკრები გადამწყვეტ როლს თამაშობს როგორც ზედაპირული, ასევე ღრმა ნერვული ქსელის მოდელების შესრულებაში. მაღალი ხარისხის დასკვნის შედეგების მიღწევა შესაძლებელია მხოლოდ მაშინ, როდესაც მილიონობით ან თუნდაც მილიარდობით ანოტირებული სასწავლო მაგალითები იყო ხელმისაწვდომი. და ეს იყო პრობლემა, რამაც ბევრი NLP ამოცანა მიუწვდომელი გახადა. ეს მანამ სანამ BERT არ შემუშავდა.

BERT არის ზოგადი დანიშნულების ენობრივი წარმოდგენის მოდელი, რომელიც გაწვრთნილია უანოტაციო ტექსტის დიდ კორპუსებზე. როდესაც მოდელი ექვემდებარება დიდი რაოდენობით ტექსტურ შინაარსს, ის სწავლობს წინადადებაში სიტყვებს შორის კონტექსტისა და ურთიერთკავშირის გაგება. წინა სასწავლო მოდელებისგან განსხვავებით, რომლებიც მხოლოდ სიტყვის დონეზე წარმოადგენდნენ მნიშვნელობას (ბანკი იგივეს ნიშნავს "საბანკო ანგარიშზე" და "ბალახიან ბანკში"), BERT-ს რეალურად აინტერესებს კონტექსტი. ანუ რაც მოდის წინადადებაში სიტყვის წინ და შემდეგ. კონტექსტი აღმოჩნდა NLP მოდელების ძირითადი დაკარგული შესაძლებლობა, რომელიც პირდაპირ გავლენას ახდენს მოდელის შესრულებაზე. კონტექსტში გაცნობიერებული მოდელის შექმნა, როგორიცაა BERT, ბევრისთვის ცნობილია, როგორც NLP-ის ახალი ეპოქის დასაწყისი.

BERT-ის ტრენინგი დიდი რაოდენობით ტექსტურ შინაარსზე არის ტექნიკა, რომელიც ცნობილია როგორც წინასწარი მომზადება. ეს ნიშნავს, რომ მოდელის წონები მორგებულია ტექსტის ზოგადი გაგების ამოცანებისთვის და რომ უფრო წვრილმარცვლოვანი მოდელების აგება შესაძლებელია მის თავზე. ავტორებმა დაამტკიცეს ასეთი ტექნიკის უპირატესობა, როდესაც გამოიყენეს BERT-ზე დაფუძნებული მოდელები 11 NLP ამოცანებზე და მიაღწიეს უახლესი შედეგების მიღწევას.

წინასწარ მომზადებული მოდელები

საუკეთესო რამ არის: წინასწარ გაწვრთნილი BERT მოდელები ღია წყაროა და საჯაროდ ხელმისაწვდომი. ეს ნიშნავს, რომ ყველას შეუძლია გაუმკლავდეს NLP ამოცანებს და შექმნას თავისი მოდელები BERT-ის თავზე. ამას ვერაფერი დაამარცხებს, არა? ოჰ, მოიცადეთ: ეს ასევე ნიშნავს, რომ NLP მოდელები ახლა შეიძლება ივარჯიშონ (დაზუსტებული) მცირე მონაცემთა ნაკრებებზე, ნულიდან ტრენინგის საჭიროების გარეშე. მართლაც, ახალი ეპოქის დასაწყისი.

ეს წინასწარ მომზადებული მოდელები ეხმარება კომპანიებს შეამცირონ ხარჯები და დრო NLP მოდელებისთვის შიდა ან გარე გამოყენებისთვის. კარგად გაწვრთნილი NLP მოდელების ეფექტურობას ხაზს უსვამს მაიკლ ალექსისი, ვირტუალური გუნდის კულტურის მშენებელი კომპანიის, teambuilding.com-ის აღმასრულებელი დირექტორი. 

"NLP-ის ყველაზე დიდი სარგებელი არის ინფორმაციის მასშტაბური და თანმიმდევრული დასკვნა და დამუშავება." - მაიკლ ალექსისის აღმასრულებელი დირექტორი teambuilding.com

მაიკლი აცხადებს, თუ როგორ შეიძლება NLP-ის გამოყენება კულტურის ხელშემწყობ პროგრამებზე, როგორიცაა ყინულის დამტვრევები ან კვლევები. კომპანიას შეუძლია მიიღოს ღირებული წარმოდგენა იმის შესახებ, თუ როგორ მუშაობს კომპანიის კულტურა თანამშრომლების პასუხების გაანალიზებით. ეს მიიღწევა არა მხოლოდ ტექსტის ანალიზით, არამედ ტექსტის ანოტაციის გაანალიზებით. არსებითად, მოდელი ასევე „კითხულობს სტრიქონებს შორის“, რათა დასკვნები გამოიტანოს ემოციებზე, გრძნობებზე და მთლიან მსოფლმხედველობაზე. BERT-ს შეუძლია დაეხმაროს ისეთ სიტუაციებში, როგორიც ეს არის მოდელების წინასწარი მომზადება ინდიკატორების საფუძველზე, რომლითაც მას შეუძლია გამოავლინოს ენის ნიუანსი და უზრუნველყოს უფრო ზუსტი შეხედულებები.  

მოთხოვნების გაუმჯობესება

კონტექსტის მოდელირების შესაძლებლობამ BERT აქცია NLP გმირად და მოახდინა რევოლუცია თავად Google Search-ში. ქვემოთ მოცემულია ციტატა Google Search-ის პროდუქტის გუნდიდან და მათი ტესტირების გამოცდილება, სანამ ისინი არეგულირებდნენ BERT-ს, რათა გაეგოთ მოთხოვნის მიღმა არსებული განზრახვა.

„აქ არის რამოდენიმე მაგალითი, რომელიც ადასტურებს BERT-ის უნარს გაიგოს თქვენი ძიების მიღმა. აქ არის ძიება „2019 წლის ბრაზილიის მოგზაურს აშშ-ში ვიზა სჭირდება“. სიტყვა "to" და მისი კავშირი შეკითხვაში სხვა სიტყვებთან განსაკუთრებით მნიშვნელოვანია მნიშვნელობის გასაგებად. საუბარია ბრაზილიელზე, რომელიც მიემგზავრება აშშ-ში და არა პირიქით. ადრე, ჩვენს ალგორითმებს არ ესმოდათ ამ კავშირის მნიშვნელობა და ჩვენ დავაბრუნეთ შედეგები აშშ-ს მოქალაქეების შესახებ, რომლებიც მიემგზავრებოდნენ ბრაზილიაში. BERT-ით Search-ს შეუძლია გაითავისოს ეს ნიუანსი და იცოდეს, რომ ძალიან გავრცელებული სიტყვა „to“ აქ რეალურად დიდი მნიშვნელობა აქვს და ჩვენ შეგვიძლია მივაწოდოთ ბევრად უფრო შესაბამისი შედეგი ამ მოთხოვნისთვის.
- ძიებების უკეთ გაგება, ვიდრე ოდესმეპანდუ ნაიაკის მიერ, Google-ის თანამშრომელი და ძიების ვიცე-პრეზიდენტი.

BERT ძიების მაგალითი, ადრე და შემდეგ. წყარო წაკითხვა

ჩვენს ბოლო სტატიაში NLP და OCR, ჩვენ ილუსტრირებული გვაქვს NLP-ის ზოგიერთი გამოყენება უძრავი ქონების სექტორში. ჩვენ ასევე აღვნიშნეთ, თუ როგორ "NLP ინსტრუმენტები იდეალური ინფორმაციის მოპოვების ინსტრუმენტებია". მოდით გადავხედოთ ენერგეტიკულ სექტორს და ვნახოთ, როგორ არღვევს NLP ტექნოლოგიები, როგორიცაა BERT, საშუალებას აძლევს ახალ აპლიკაციების გამოყენებას. 

NLP მოდელებს შეუძლიათ ინფორმაციის ამოღება დიდი რაოდენობით არასტრუქტურირებული მონაცემებიდან

NLP მოდელების გამოყენების ერთ-ერთი გზა არის კრიტიკული ინფორმაციის მოპოვება არასტრუქტურირებული ტექსტური მონაცემებიდან. ელფოსტა, ჟურნალები, შენიშვნები, ჟურნალები და ანგარიშები ყველა ტექსტური მონაცემთა წყაროების მაგალითებია, რომლებიც ბიზნესის ყოველდღიური ოპერაციების ნაწილია. ამ დოკუმენტებიდან ზოგიერთი შეიძლება გადამწყვეტი აღმოჩნდეს ორგანიზაციულ ძალისხმევაში, რათა გაზარდოს ოპერაციული ეფექტურობა და შეამციროს ხარჯები. 

როდესაც მიზნად ისახავს განხორციელებას ქარის ტურბინის პროგნოზირებადი მოვლა, წარუმატებლობის ანგარიშები შეიძლება შეიცავდეს კრიტიკული ინფორმაცია სხვადასხვა კომპონენტის ქცევის შესახებ. მაგრამ რადგან ქარის ტურბინების სხვადასხვა მწარმოებელს აქვს მონაცემთა შეგროვების განსხვავებული ნორმები (ანუ ტექნიკური მოხსენებები მოდის სხვადასხვა ფორმატში და ენებზეც კი), შესაბამისი მონაცემების ხელით იდენტიფიცირება შეიძლება სწრაფად გახდეს ძვირი ქარხნის მფლობელისთვის. NLP ინსტრუმენტებს შეუძლიათ ამოიღონ შესაბამისი ცნებები, ატრიბუტები და მოვლენები არასტრუქტურირებული შინაარსიდან. ტექსტის ანალიტიკა შეიძლება გამოყენებულ იქნას სხვადასხვა მონაცემთა წყაროებში კორელაციებისა და შაბლონების მოსაძებნად. ეს აძლევს ქარხნის მფლობელებს შანსს განახორციელონ პროგნოზირებადი ტექნიკური სამუშაოები რაოდენობრივი ზომების საფუძველზე, რომლებიც იდენტიფიცირებულია მათ წარუმატებლობის ანგარიშებში.

NLP მოდელებს შეუძლიათ უზრუნველყონ ბუნებრივი ენის საძიებო ინტერფეისები

ანალოგიურად, გეომეცნიერებს, რომლებიც მუშაობენ ნავთობისა და გაზის კომპანიებში, ჩვეულებრივ უნდა გადახედონ ბევრ დოკუმენტს, რომელიც დაკავშირებულია წარსულში საბურღი ოპერაციებთან, ჭაბურღილების ჟურნალებთან და სეისმურ მონაცემებთან. ვინაიდან ასეთი დოკუმენტები ასევე მოდის სხვადასხვა ფორმატში და ჩვეულებრივ ვრცელდება მთელ რიგ ლოკაციებზე (როგორც ფიზიკურ, ასევე ციფრულზე), ისინი დიდ დროს კარგავენ ინფორმაციის არასწორ ადგილებში ძიებაში. ეფექტური გამოსავალი ასეთ შემთხვევაში იქნება NLP-ით აღჭურვილი საძიებო ინტერფეისი, რაც მომხმარებლებს საშუალებას მისცემს მოძებნონ მონაცემები ბუნებრივ ენაზე. შემდეგ, NLP მოდელს შეუძლია დააკავშიროს მონაცემები ასობით დოკუმენტში და დააბრუნოს პასუხი კითხვაზე. შემდეგ მუშებს შეუძლიათ დაადასტურონ შედეგი საკუთარი ექსპერტული ცოდნის საფუძველზე და გამოხმაურება კიდევ უფრო გააუმჯობესებს მოდელს. 

თუმცა, ასევე არსებობს ტექნიკური მოსაზრებები ასეთი მოდელების განთავსებისთვის. ერთი ასპექტი იქნება ის, რომ ინდუსტრიის სპეციფიკურ ჟარგონს შეუძლია აღრეული სწავლის ტრადიციული მოდელები, რომლებსაც არ აქვთ შესაბამისი სემანტიკური გაგება. მეორეც, მოდელების შესრულებაზე შეიძლება გავლენა იქონიოს სასწავლო მონაცემთა ბაზის ზომაზე. ეს არის მაშინ, როდესაც წინასწარ გაწვრთნილი მოდელები, როგორიცაა BERT, შეიძლება იყოს მომგებიანი. კონტექსტუალურ წარმოდგენებს შეუძლიათ შესაბამისი სიტყვის მნიშვნელობის მოდელირება და ინდუსტრიის სპეციფიკური ტერმინებით გამოწვეული ნებისმიერი დაბნეულობა. წინასწარ მომზადებული მოდელების გამოყენებით, შესაძლებელია ქსელის წვრთნა უფრო მცირე მონაცემთა ნაკრებებზე. ეს დაზოგავს დროს, ენერგიას და რესურსებს, რომლებიც სხვაგვარად აუცილებელი იქნებოდა ვარჯიშისთვის ნულიდან.

რაც შეეხება საკუთარ ბიზნესს? 

შეგიძლიათ იფიქროთ NLP-ის რომელიმე ამოცანაზე, რომელიც დაგეხმარებათ ხარჯების შემცირებაში და საოპერაციო ეფექტურობის გაზრდაში?

ის ლურჯი ნარინჯისფერი ციფრული მონაცემთა მეცნიერების გუნდი მოხარულია შეცვალოს BERT თქვენი სასარგებლოდ!