მეტყველების მომავალი - აზროვნების ლიდერები

მთელ მსოფლიოში, ინგლისური ენის შემსწავლელთა რიცხვი კვლავ იზრდება. საგანმანათლებლო დაწესებულებებსა და დამსაქმებლებს უნდა შეეძლოთ შეაფასონ ენის შემსწავლელთა ინგლისური ცოდნის უნარი - კერძოდ, მათი მეტყველების უნარი, რადგან სალაპარაკო ენა რჩება ყველაზე აუცილებელ ენობრივ უნარებს შორის. გამოწვევა, როგორც შეფასების დეველოპერებისთვის, ასევე საბოლოო მომხმარებლებისთვის, არის სწორი, სწრაფი და ფინანსურად სიცოცხლისუნარიანი გზის პოვნა. როგორც ამ გამოწვევის ნაწილი, ამ შეფასებების ქულების მიღებას თან ახლავს ფაქტორების საკუთარი ნაკრები, განსაკუთრებით მაშინ, როდესაც განვიხილავთ სხვადასხვა სფეროს (მეტყველება, წერა და ა.შ.), რომელზეც ტესტირება ხდება. იმის გამო, რომ მთელ მსოფლიოში ინგლისური ენის ცოდნაზე მოთხოვნა მხოლოდ გაიზრდება, როგორი უნდა იყოს მეტყველების ქულების მომავალი ამ საჭიროებების დასაკმაყოფილებლად?

ამ კითხვაზე პასუხი, ნაწილობრივ, გვხვდება მეტყველების ქულების ევოლუციაში დღემდე. შემუშავებული სალაპარაკო პასუხების შეფასება ისტორიულად კეთდება ადამიანის შემფასებლების გამოყენებით. თუმცა, ეს პროცესი, როგორც წესი, ძვირი და ნელია და აქვს დამატებითი გამოწვევები, მათ შორის მასშტაბურობა და თავად ადამიანების შემფასებლების სხვადასხვა ნაკლოვანებები (მაგ., შემფასებლის სუბიექტურობა ან მიკერძოება). როგორც ჩვენს წიგნშია საუბარი მეტყველების ავტომატური შეფასება: ენობრივი ტექნოლოგიების გამოყენება სპონტანური მეტყველებისთვის, ამ გამოწვევების გადასაჭრელად, შეფასებების მზარდი რაოდენობა ახლა იყენებს მეტყველების ავტომატური შეფასების ტექნოლოგიას, როგორც ქულების შეფასების ერთადერთ წყაროს ან ადამიანთა შემფასებლებთან ერთად. თუმცა, ავტომატური ქულების ძრავების ამოქმედებამდე, მათი შესრულება საფუძვლიანად უნდა შეფასდეს, განსაკუთრებით ქულის სანდოობასთან, ვალიდობასთან (ზომავს თუ არა სისტემა იმას, რაც უნდა?) და სამართლიანობასთან (ანუ, სისტემამ არ უნდა შემოიტანოს მიკერძოებასთან დაკავშირებით). მოსახლეობის ქვეჯგუფები, როგორიცაა სქესი ან მშობლიური ენა).

2006 წლიდან, ETS-ის საკუთარი მეტყველების შეფასების ძრავა, SpeechRater®, ფუნქციონირებს TOEFL® Practice Online (TPO) შეფასებაში (გამოიყენება პერსპექტიული გამოცდის მონაწილეების მიერ TOEFL iBT® შეფასებისთვის მოსამზადებლად), ხოლო 2019 წლიდან ასევე გამოიყენება SpeechRater. ადამიანთა შემფასებლებთან ერთად, TOEFL iBT® შეფასების სამეტყველო განყოფილების ქულების მისაღებად. ძრავა აფასებს საუბრის ცოდნის ფართო დიაპაზონს სპონტანური არა-მშობლიური მეტყველებისთვის, მათ შორის გამოთქმა და სრულყოფილება, ლექსიკის დიაპაზონი და გრამატიკა და უფრო მაღალი დონის სამეტყველო უნარები, რომლებიც დაკავშირებულია იდეების თანმიმდევრულობასთან და პროგრესირებასთან. ეს მახასიათებლები გამოითვლება ბუნებრივი ენის დამუშავების (NLP) და მეტყველების დამუშავების ალგორითმების გამოყენებით. შემდეგ ამ მახასიათებლებზე გამოიყენება სტატისტიკური მოდელი, რათა საბოლოო ქულა მიენიჭოს ტესტის მონაწილეთა პასუხს.

მიუხედავად იმისა, რომ ეს მოდელი გაწვრთნილი იყო ადრე დაკვირვებულ მონაცემებზე, რომლებიც შეფასებულია ადამიანთა შემფასებლების მიერ, ის ასევე განიხილება შინაარსის ექსპერტების მიერ მისი ვალიდობის მაქსიმალურად გაზრდის მიზნით. თუ პასუხი აუდიოს ხარისხის ან სხვა პრობლემების გამო აღმოჩნდება, რომ არ არის დადებული, ძრავას შეუძლია მონიშნოს იგი შემდგომი განხილვისთვის, რათა თავიდან აიცილოს პოტენციურად არასანდო ან არასწორი ქულა. ადამიანების შემფასებლები ყოველთვის ჩართულნი არიან სიტყვიერი პასუხების ქულების მიღებაში TOEFL iBT-ის მაღალი დონის სამეტყველო შეფასებაში.

ვინაიდან ადამიანების შემფასებლები და SpeechRater ამჟამად გამოიყენება ერთად ტესტირების მონაწილეთა პასუხების შესაფასებლად მაღალი ფსონის მეტყველების შეფასებებში, ორივე მონაწილეობს იმაში, თუ როგორი შეიძლება იყოს ინგლისური ენის ცოდნის ქულების მოპოვება. ადამიანთა შემფასებლებს აქვთ უნარი ღრმად გაიგონ სალაპარაკო პასუხის შინაარსი და დისკურსული ორგანიზაცია. ამის საპირისპიროდ, მეტყველების შეფასების ავტომატიზირებულ ძრავებს შეუძლიათ უფრო ზუსტად გაზომონ მეტყველების გარკვეული დეტალური ასპექტები, როგორიცაა სრულყოფილება ან გამოთქმა, ავლენენ სრულყოფილ თანმიმდევრულობას დროთა განმავლობაში, შეუძლიათ შეამცირონ საერთო ქულის შეგროვების დრო და ღირებულება და უფრო ადვილად მასშტაბირდებიან დიდი ტესტირების მოცულობის მხარდასაჭერად. როდესაც ადამიანების შემფასებლები და მეტყველების შეფასების ავტომატური სისტემები გაერთიანებულია, მიღებულ სისტემას შეუძლია ისარგებლოს თითოეული ქულის მიდგომის ძლიერი მხარეებით.

იმისათვის, რომ განუწყვეტლივ განვითარდეს მეტყველების შეფასების ავტომატური ძრავები, კვლევა და განვითარება უნდა ფოკუსირდეს შემდეგ ასპექტებზე, მათ შორის:

• მეტყველების ავტომატური ამოცნობის სისტემების შექმნა უფრო მაღალი სიზუსტით: ვინაიდან მეტყველების შეფასების სისტემის უმეტესი ფუნქციები პირდაპირ ან ირიბად ეყრდნობა სისტემის ამ კომპონენტს, რომელიც აქცევს გამოცდის მონაწილეთა მეტყველებას ტექსტის ტრანსკრიპციაში, მაღალი სიზუსტით მეტყველების ავტომატური ამოცნობა აუცილებელია სწორი მახასიათებლების მისაღებად;
• ადამიანისა და ავტომატური ქულების შერწყმის ახალი გზების შესწავლა: იმისათვის, რომ სრულად გამოვიყენოთ ადამიანთა შემფასებლის ქულების და ავტომატური ძრავის ქულების შესაბამისი ძლიერი მხარეები, საჭიროა ამ მტკიცებულების გაერთიანების მეტი გზების შესწავლა;
• პასუხებში დარღვევების აღრიცხვა, როგორც ტექნიკური, ასევე ქცევითი: მაღალი ხარისხის ფილტრები, რომლებსაც შეუძლიათ ასეთი პასუხების მონიშვნა და მათი ავტომატური ქულების გამორიცხვა, აუცილებელია, რათა უზრუნველყოს მიღებული შეფასების ქულების ვალიდობა და სანდოობა;
• სპონტანური ან სასაუბრო მეტყველების შეფასება, რომელიც ყველაზე ხშირად გვხვდება ყოველდღიურ ცხოვრებაში: მიუხედავად იმისა, რომ ასეთი ინტერაქტიული მეტყველების ავტომატიზირებული ქულები მნიშვნელოვანი მიზანია, ეს პუნქტები წარმოადგენენ უამრავ ქულების გამოწვევას, მათ შორის საერთო შეფასებასა და ქულებს;
• ღრმა სწავლის ტექნოლოგიების შესწავლა მეტყველების ავტომატური შეფასების მიზნით: მანქანათმცოდნეობის ამ შედარებით უახლესმა პარადიგმამ განაპირობა მნიშვნელოვანი ზრდა ხელოვნური ინტელექტის (AI) ამოცანებზე ბოლო წლებში (მაგ., მეტყველების ავტომატური ამოცნობა, გამოსახულების ამოცნობა) და, შესაბამისად, სავარაუდოა, რომ ავტომატიზირებულია. ქულების შეგროვება ასევე შეიძლება ისარგებლოს ამ ტექნოლოგიის გამოყენებით. თუმცა, ვინაიდან ამ სისტემების უმეტესობა შეიძლება ჩაითვალოს „შავი ყუთის“ მიდგომად, მიღებული ქულის ინტერპრეტაციაზე ყურადღება მნიშვნელოვანი იქნება გამჭვირვალობის გარკვეული დონის შესანარჩუნებლად.

ინგლისური ენის შემსწავლელთა მზარდი და ცვალებადი პოპულაციის დასაკმაყოფილებლად, შემდეგი თაობის მეტყველების შეფასების სისტემებმა უნდა გააფართოვონ ავტომატიზაცია და მათი გაზომვის დიაპაზონი, რაც უზრუნველყოფს თანმიმდევრულობას და მასშტაბურობას. ეს არ ნიშნავს რომ ადამიანური ელემენტი მოიხსნება, განსაკუთრებით მაღალი ფსონების შეფასებებისთვის. ადამიანთა შემფასებლები, სავარაუდოდ, დარჩებიან არსებითი მეტყველების გარკვეული ასპექტების აღსაბეჭდად, რომელთა ზუსტი შეფასებაც ავტომატური ქულების სისტემების მიერ გარკვეული პერიოდის განმავლობაში რთული იქნება, მათ შორის სალაპარაკო შინაარსისა და დისკურსის დეტალური ასპექტები. მეტყველების შეფასების ავტომატური სისტემების გამოყენება თანმიმდევრული შეფასებებისთვის იზოლირებულად ემუქრება ტესტის მონაწილეთა მიერ პრობლემური პასუხების არ იდენტიფიცირების რისკს, მაგალითად, პასუხებს, რომლებიც თემას არ წარმოადგენს ან პლაგიატია და, შედეგად, შეიძლება გამოიწვიოს ვალიდობის და სანდოობის შემცირება. როგორც ადამიანური შემფასებლების, ასევე ავტომატური ქულების სისტემების კომბინაციაში გამოყენება შესაძლოა საუკეთესო გზა იყოს მეტყველების მაღალი ფსონების შეფასებებში უახლოეს მომავალში, განსაკუთრებით თუ სპონტანური ან სასაუბრო მეტყველება შეფასდება.

ავტორი: კილან ევანინი, მეტყველების კვლევის დირექტორი, ETS & კლაუს ზეხნერი, უფროსი მკვლევარი, მეტყველების მენეჯერი, ETS

ETS თანამშრომლობს საგანმანათლებლო დაწესებულებებთან, ბიზნესებთან და მთავრობებთან, რათა ჩაატაროს კვლევა და განავითაროს შეფასების პროგრამები, რომლებიც უზრუნველყოფენ მნიშვნელოვან ინფორმაციას, რომლის იმედიც შეუძლიათ ადამიანებისა და პროგრამების შესაფასებლად. ETS ავითარებს, ატარებს და აგროვებს 50 მილიონზე მეტ ტესტს ყოველწლიურად 180-ზე მეტ ქვეყანაში, მსოფლიოს 9,000-ზე მეტ ლოკაციაზე. ჩვენ ვამუშავებთ ჩვენს შეფასებებს ინდუსტრიის წამყვანი ინსტრუქციით, მკაცრი კვლევებით და ხარისხისადმი უკომპრომისო ვალდებულებით, რათა დავეხმაროთ განათლებისა და სამუშაო ადგილის თემებს ინფორმირებული გადაწყვეტილებების მიღებაში. მეტი ინფორმაციისთვის ეწვიეთ ETS.