თავდასხმა ბუნებრივი ენის დამუშავების სისტემებზე საპირისპირო მაგალითებით

მკვლევარებმა დიდ ბრიტანეთში და კანადაში შეიმუშავეს შავი ყუთის წინააღმდეგობრივი შეტევების სერია ბუნებრივი ენის დამუშავების (NLP) სისტემების წინააღმდეგ, რომლებიც ეფექტურია ენის დამუშავების პოპულარული ჩარჩოების ფართო სპექტრის წინააღმდეგ, მათ შორის Google-ის, Facebook-ის, IBM-ისა და Microsoft-ის ფართოდ განლაგებული სისტემების ჩათვლით.

თავდასხმა შეიძლება გამოყენებულ იქნას მანქანური სწავლების მთარგმნელობითი სისტემების დასახიჩრებლად, მათი იძულებით ან სისულელეების წარმოქმნით, ან რეალურად შეცვალონ თარგმანის ბუნება; NLP მოდელების ბოთლის ტრენინგი; ტოქსიკური შემცველობის არასწორი კლასიფიკაცია; საძიებო სისტემის შედეგების მოწამვლა გაუმართავი ინდექსირების გამოწვევით; საძიებო სისტემებმა ვერ დაადგინონ მავნე ან უარყოფითი შინაარსი, რომელიც სრულყოფილად იკითხება ადამიანისთვის; და კიდევ გამოიწვიოს სერვისის უარყოფა (DoS) შეტევები NLP ჩარჩოებზე.

მიუხედავად იმისა, რომ ავტორებმა გამოავლინეს ნაშრომის შემოთავაზებული დაუცველობა სხვადასხვა უსახელო მხარეებს, რომელთა პროდუქციაც წარმოდგენილია კვლევაში, ისინი თვლიან, რომ NLP ინდუსტრია ჩამორჩენილია მოწინააღმდეგეების თავდასხმებისგან თავის დაცვაში. ნაშრომში ნათქვამია:

„ეს შეტევები იყენებს ენის კოდირების მახასიათებლებს, როგორიცაა უხილავი სიმბოლოები და ჰომოგლიფები. მიუხედავად იმისა, რომ ისინი წარსულში ხანდახან ჩანდნენ სპამისა და ფიშინგის თაღლითობებში, ბევრი NLP სისტემის დიზაინერებმა, რომლებიც ახლა ფართო მასშტაბით არის დანერგილი, როგორც ჩანს, მათ სრულიად უგულებელყოფდნენ.'

რამდენიმე თავდასხმა განხორციელდა როგორც „შავ ყუთში“ გარემოში, როგორც ეს შესაძლებელია – MLaaS სისტემებზე API ზარების მეშვეობით, და არა NLP ჩარჩოების ლოკალურად დაინსტალირებული FOSS ვერსიებით. სისტემების კომბინირებული ეფექტურობის შესახებ, ავტორები წერენ:

ყველა ექსპერიმენტი ჩატარდა შავი ყუთის გარემოში, სადაც მოდელის შეუზღუდავი შეფასებაა ნებადართული, მაგრამ შეფასებული მოდელის წონაზე ან მდგომარეობაზე წვდომა დაუშვებელია. ეს წარმოადგენს საფრთხის ერთ-ერთ უძლიერეს მოდელს, რომლისთვისაც შესაძლებელია შეტევები თითქმის ყველა პარამეტრში, მათ შორის კომერციული Machine-Learning-as-a-Service (MLaaS) შეთავაზებების წინააღმდეგ. ყველა გამოკვლეული მოდელი დაუცველი იყო შეუმჩნეველი აშლილობის შეტევების მიმართ.

"ჩვენ გვჯერა, რომ ამ თავდასხმების გამოყენებადობა თეორიულად უნდა განზოგადდეს ტექსტზე დაფუძნებულ NLP მოდელზე ადექვატური დაცვის გარეშე."

ის ქაღალდი სახელდება ცუდი პერსონაჟები: შეუმჩნეველი NLP თავდასხმებიდა მოდის კემბრიჯისა და ედინბურგის უნივერსიტეტის სამი განყოფილების სამი მკვლევრისგან და ტორონტოს უნივერსიტეტის მკვლევარისგან.

ნაშრომის სათაური სამაგალითოა: ის სავსეა „შეუმჩნეველი“ უნიკოდის სიმბოლოებით, რომლებიც ქმნიან მკვლევართა მიერ მიღებული თავდასხმის ოთხი პრინციპიდან ერთ-ერთი მეთოდის საფუძველს.

გაზეთის სათაურსაც კი ფარული საიდუმლოებები აქვს.

მეთოდი/ები

ნაშრომი გვთავაზობს თავდასხმის სამ ძირითად ეფექტურ მეთოდს: უხილავი პერსონაჟები; ჰომოგლიფებიდა ხელახალი შეკვეთები. ეს არის „უნივერსალური“ მეთოდები, რომლებიც მკვლევარებმა დაადგინეს, რომ აქვთ ფართო წვდომა NLP ჩარჩოების წინააღმდეგ შავი ყუთის სცენარებში. დამატებითი მეთოდი, რომელიც მოიცავს ა წაშლა ხასიათი, მკვლევარებმა დაადგინეს, რომ შესაფერისია მხოლოდ უჩვეულო NLP მილსადენებისთვის, რომლებიც იყენებენ ოპერაციული სისტემის ბუფერს.

1: უხილავი პერსონაჟები

ეს შეტევა იყენებს დაშიფრულ სიმბოლოებს შრიფტში, რომლებიც არ ასახავს გლიფს Unicode სისტემაში. Unicode სისტემა შეიქმნა ელექტრონული ტექსტის სტანდარტიზაციისთვის და ახლა მოიცავს 143,859 სიმბოლოს მრავალ ენაზე და სიმბოლოთა ჯგუფებში. ამ რუკებიდან ბევრი არ შეიცავს რაიმე ხილულ სიმბოლოს შრიფტში (რაც, ბუნებრივია, არ შეიძლება შეიცავდეს სიმბოლოებს უნიკოდში ყველა შესაძლო ჩანაწერისთვის).

ნაშრომიდან, უხილავი სიმბოლოების გამოყენებით თავდასხმის ჰიპოთეტური მაგალითი, რომელიც ყოფს შეყვანის სიტყვებს სეგმენტებად, რომლებიც ან არაფერს ნიშნავს ბუნებრივი ენის დამუშავების სისტემისთვის, ან, თუ ყურადღებით არის შემუშავებული, შეუძლია ხელი შეუშალოს ზუსტ თარგმანს. ჩვეულებრივი მკითხველისთვის ორიგინალური ტექსტი ორივე შემთხვევაში სწორია. წყარო: https://arxiv.org/pdf/2106.09898.pdf

როგორც წესი, თქვენ არ შეგიძლიათ გამოიყენოთ ერთ-ერთი ამ არა-ნიშანთაგანი ნულოვანი სიგანის სივრცის შესაქმნელად, რადგან სისტემების უმეტესობა წარმოადგენს "placeholder" სიმბოლოს (როგორიცაა კვადრატი ან კითხვის ნიშანი დახრილ ველში) ამოუცნობი პერსონაჟი.

თუმცა, როგორც ქაღალდი აღნიშნავს, მხოლოდ მცირე მცირე შრიფტი დომინირებს მიმდინარე გამოთვლით სცენაზე და, რაც არ უნდა გასაკვირი იყოს, ისინი იცავენ უნიკოდის სტანდარტს.

ამიტომ მკვლევარებმა აირჩიეს GNU-ის Unifont გლიფები თავიანთი ექსპერიმენტებისთვის, ნაწილობრივ უნიკოდის „მყარი დაფარვის“ გამო, მაგრამ ასევე იმიტომ, რომ ის ჰგავს სხვა „სტანდარტულ“ შრიფტებს, რომლებიც სავარაუდოდ მიეწოდება NLP სისტემებს. მიუხედავად იმისა, რომ Unifont-ისგან წარმოებული უხილავი სიმბოლოები არ გამოისახება, ისინი მაინც ითვლება ხილულ სიმბოლოებად შემოწმებული NLP სისტემებით.

პროგრამები
თავად ნაშრომის „დამუშავებულ“ სათაურს რომ დავუბრუნდეთ, ჩვენ ვხედავთ, რომ Google-ის ძიების შესრულება არჩეული ტექსტიდან არ მიაღწევს მოსალოდნელ შედეგს:

ეს არის კლიენტის მხარის ეფექტი, მაგრამ სერვერის მხრიდან განვითარებები ცოტა უფრო სერიოზულია. ნაშრომი აღნიშნავს:

„მიუხედავად იმისა, რომ აშლილი დოკუმენტი შეიძლება იყოს დატკეპნილი საძიებო სისტემის მცოცავის მიერ, მისი ინდექსაციისთვის გამოყენებული ტერმინები გავლენას მოახდენს არეულობაზე, რაც ნაკლებად სავარაუდოა, რომ გამოჩნდეს დაუბრკოლებელი ტერმინების ძიებიდან. ამრიგად, შესაძლებელია საძიებო სისტემებიდან დოკუმენტების დამალვა „უბრალო დანახვაზე“.

'როგორც აპლიკაციის მაგალითი, არაკეთილსინდისიერმა კომპანიამ შეიძლება შენიღბოს უარყოფითი ინფორმაცია თავის ფინანსურ დოკუმენტებში, რათა სპეციალიზებულმა საძიებო სისტემებმა, რომლებსაც საფონდო ანალიტიკოსები იყენებენ, ვერ ახერხებენ მის ამოღებას.'

ერთადერთი სცენარი, რომელშიც "უხილავი პერსონაჟების" თავდასხმა ნაკლებად ეფექტური აღმოჩნდა, იყო ტოქსიკური შინაარსის, დასახელებული ერთეულის ამოცნობის (NER) და განწყობის ანალიზის მოდელების წინააღმდეგ. ავტორები ვარაუდობენ, რომ ეს ან იმიტომ, რომ მოდელები გაწვრთნილი იყო მონაცემებზე, რომლებიც ასევე შეიცავდნენ უხილავ სიმბოლოებს, ან მოდელის ტოკენიზატორი (რომელიც არღვევს ნედლეულ ენას მოდულურ კომპონენტებად) უკვე კონფიგურირებული იყო მათი იგნორირებაზე.

2: ჰომოგლიფები

ჰომოგლიფი არის პერსონაჟი, რომელიც ჰგავს სხვა პერსონაჟს - სემანტიკური სისუსტე, რომელიც გამოიყენეს 2000 წელს. თაღლითური რეპლიკა PayPal გადახდის დამუშავების დომენიდან.

ქაღალდის ამ ჰიპოთეტურ მაგალითში, ჰომოგლიფის შეტევა ცვლის თარგმანის მნიშვნელობას ვიზუალურად განურჩეველი ჰომოგლიფების (წითლად გამოკვეთილი) ჩვეულებრივი ლათინური სიმბოლოების ჩანაცვლებით.

ავტორების კომენტარები *:

„ჩვენ აღმოვაჩინეთ, რომ მანქანური სწავლება აყალიბებს ამ პროცესს მომხმარებლის მიერ მიწოდებული ტექსტი, როგორიცაა ნერვული მანქანების მთარგმნელობითი სისტემები, განსაკუთრებით დაუცველია შეტევის ამ სტილის მიმართ. განვიხილოთ, მაგალითად, ბაზრის წამყვანი სერვისი გუგლის თარგმანი. წერის დროს, სტრიქონში შეყვანა "paypal” ინგლისურად რუსულ მოდელს სწორად გამოსცემს“PayPal”, მაგრამ ჩანაცვლება ლათინური სიმბოლო a შეყვანისას კირილიცას სიმბოლოში а არასწორად გამოაქვს „папа“ (ინგლისურად „მამა“).'

მკვლევარები აკვირდებიან, რომ მიუხედავად იმისა, რომ ბევრი NLP მილსადენი ჩაანაცვლებს სიმბოლოებს, რომლებიც არ არიან მათი ენის სპეციფიკური ლექსიკონით („უცნობი“) ნიშნით, პროგრამულმა პროცესებმა, რომლებიც იწვევენ მოწამლულ ტექსტს მილსადენში, შეიძლება გაავრცელონ უცნობი სიტყვები შეფასებისთვის, სანამ ეს უსაფრთხოების ღონისძიება არ დაიწყება. ავტორები აცხადებენ, რომ ეს "ხსნის საოცრად დიდ თავდასხმის ზედაპირს".

3: ხელახალი შეკვეთები

Unicode საშუალებას აძლევს ენებს, რომლებიც იწერება მარცხნიდან მარჯვნივ, თანმიმდევრობით დამუშავებული Unicode's Bidirectional (ბიდი) ალგორითმი. მარჯვნიდან მარცხნივ და მარცხნიდან მარჯვნივ სიმბოლოების ერთ სტრიქონში შერევა დამაბნეველია და Unicode-მა დაუშვა BIDI-ის გადაფარვა სპეციალური საკონტროლო სიმბოლოებით. ეს იძლევა თითქმის თვითნებურ რენდერირებას ფიქსირებული კოდირების შეკვეთისთვის.

ნაშრომის სხვა თეორიულ მაგალითში, თარგმანის მექანიზმი იწვევს ნათარგმნი ტექსტის ყველა ასოს არასწორი თანმიმდევრობით დაყენებას, რადგან ის ემორჩილება არასწორი კოდირებით მარჯვნივ მარცხნივ/მარცხნიდან მარჯვნივ, ნაწილის გამო. საპირისპირო წყაროს ტექსტის (შემოხაზული) ბრძანებით ამის გაკეთება.

ავტორები აცხადებენ, რომ ნაშრომის დაწერის დროს, მეთოდი ეფექტური იყო უნიკოდის განხორციელების წინააღმდეგ Chromium ბრაუზერში, Google-ის Chrome ბრაუზერის ზედა ნაკადის წყაროს, Microsoft-ის Edge ბრაუზერის და საკმაოდ ბევრი სხვა ჩანგლების წინააღმდეგ.

ასევე: წაშლა

ჩართულია აქ ისე, რომ შემდგომი შედეგების გრაფიკები ნათელი იყოს წაშლა თავდასხმა გულისხმობს სიმბოლოს ჩართვას, რომელიც წარმოადგენს backspace-ს ან სხვა ტექსტზე ზემოქმედების კონტროლს/ბრძანებას, რომელიც ეფექტურად ხორციელდება ენის კითხვის სისტემის მიერ ტექსტის მაკროს მსგავსი სტილით.

ავტორები აკვირდებიან:

უნიკოდში საკონტროლო სიმბოლოების მცირე რაოდენობამ შეიძლება გამოიწვიოს მეზობელი ტექსტი წაიშლება. უმარტივესი მაგალითებია backspace (BS) და წაშლის (DEL) სიმბოლოები. ასევე არსებობს carriage return (CR), რომელიც იწვევს ტექსტის გადაცემის ალგორითმის დაბრუნებას ხაზის დასაწყისში და გადაწერს მის შინაარსს.

'ამისთვის მაგალითად, კოდირებული ტექსტი, რომელიც წარმოადგენს „გამარჯობა CRGoodbye მსოფლიო“ იქნება გადმოცემული, როგორც „მშვიდობით მსოფლიო”.

როგორც უკვე აღვნიშნეთ, ეს შეტევა ფაქტობრივად მოითხოვს წვდომის წარმოუდგენელ დონეს იმუშაოს და სრულიად ეფექტური იქნება მხოლოდ ტექსტის კოპირებითა და ჩასმით ბუფერში, სისტემატურად თუ არა – იშვიათი NLP მილსადენი.

მკვლევარებმა ის მაინც გამოსცადეს და ის თავის თანატოლებთან შედარებით მუშაობს. თუმცა, პირველი სამი მეთოდის გამოყენებით თავდასხმები შეიძლება განხორციელდეს უბრალოდ დოკუმენტების ან ვებ გვერდების ატვირთვით (საძიებო სისტემებზე თავდასხმის შემთხვევაში და/ან NLP მილსადენების ვებ-სკრაპინგი).

წაშლის თავდასხმის დროს შემუშავებული სიმბოლოები ეფექტურად აშორებენ იმას, რაც მათ წინ უსწრებს, ან სხვაგვარად აიძულებენ ერთსტრიქონიან ტექსტს მეორე აბზაცში, ორივე შემთხვევაში ისე, რომ ეს ცხადი არ იყოს ჩვეულებრივი მკითხველისთვის.

ეფექტურობა მიმდინარე NLP სისტემების წინააღმდეგ

მკვლევარებმა განახორციელეს არამიზანმიმართული და მიზანმიმართული თავდასხმები ხუთი პოპულარული დახურული კოდის მოდელზე Facebook-დან, IBM-დან, Microsoft-იდან, Google-იდან და HuggingFace-დან, ასევე სამი ღია კოდის მოდელზე.

მათ ასევე შეამოწმეს "სპონგური" თავდასხმები მოდელების წინააღმდეგ. სპონგური შეტევა ფაქტობრივად არის DoS შეტევა NLP სისტემებისთვის, სადაც შეყვანის ტექსტი „არ გამოითვლება“ და იწვევს ტრენინგის კრიტიკულ შენელებას – პროცესი, რომელიც ჩვეულებრივ შეუძლებელი უნდა იყოს მონაცემთა წინასწარი დამუშავებით.

შეფასებული NLP-ის ხუთი ამოცანა იყო მანქანური თარგმანი, ტოქსიკური შინაარსის გამოვლენა, ტექსტური ელემენტების კლასიფიკაცია, დასახელებული ერთეულის ამოცნობა და განწყობის ანალიზი.

ტესტები ჩატარდა Tesla P100 GPU-ის დაუზუსტებელ რაოდენობაზე, თითოეული მუშაობს Intel Xeon Silver 4110 CPU-ზე Ubuntu-ზე. იმისათვის, რომ არ დაირღვეს მომსახურების პირობები API ზარების განხორციელების შემთხვევაში, ექსპერიმენტები ერთნაირად განმეორდა აურზაური ბიუჯეტით ნულიდან (უზარმაზარი წყაროს ტექსტი) ხუთამდე (მაქსიმალური შეფერხება). მკვლევარები ამტკიცებენ, რომ მათ მიერ მიღებულ შედეგებს შეიძლება გადააჭარბოს, თუ დაშვებული იქნება გამეორებების მეტი რაოდენობა.

ფეისბუქის წინააღმდეგ საპირისპირო მაგალითების გამოყენების შედეგები Fairseq EN-FR მოდელი.

IBM-ის წინააღმდეგ თავდასხმების შედეგები ტოქსიკური შემცველობის კლასიფიკატორი და Google-ის Perspective API.

ორი თავდასხმა Facebook-ის Fairseq-ის წინააღმდეგ: „არამიზნობრივი“ მიზნად ისახავს ჩაშლას, ხოლო „მიზნობრივი“ მიზნად ისახავს თარგმნილი ენის მნიშვნელობის შეცვლას.

მკვლევარებმა შემდგომში გამოსცადეს თავიანთი სისტემა წინა ჩარჩოებზე, რომლებსაც არ შეეძლოთ „ადამიანის წაკითხვადი“ შემაშფოთებელი ტექსტის გენერირება იმავე გზით, და აღმოაჩინეს, რომ სისტემა დიდწილად მათთან შედარებით და ხშირად უკეთესადაც ინარჩუნებდა, თუმცა ინარჩუნებდა საიდუმლოების უზარმაზარ უპირატესობას.

საშუალო ეფექტურობა ყველა მეთოდში, თავდასხმის ვექტორებსა და სამიზნეებში მოძრაობს დაახლოებით 80%, ძალიან ცოტა გამეორებით.

შედეგების კომენტირებისას მკვლევარები ამბობენ:

„შესაძლოა, ჩვენი შეუმჩნეველი აშლილობის შეტევების ყველაზე შემაშფოთებელი ასპექტი მათი ფართო გამოყენებაა: ყველა ტექსტზე დაფუძნებული NLP სისტემა, რომელიც ჩვენ გამოვცადეთ, მგრძნობიარეა. მართლაც, მანქანური სწავლების ნებისმიერი მოდელი, რომელიც იღებს მომხმარებლის მიერ მიწოდებულ ტექსტს შეყვანის სახით, თეორიულად დაუცველია ამ შეტევის მიმართ.

„შეჯიბრის შედეგები შეიძლება განსხვავდებოდეს ერთი აპლიკაციიდან მეორეში და მოდელიდან მეორეზე, მაგრამ ტექსტზე დაფუძნებული ყველა მოდელი დაფუძნებულია დაშიფრულ ტექსტზე და ყველა ტექსტი ექვემდებარება საპირისპირო დაშიფვრას, თუ კოდირება სათანადოდ შეზღუდული არ არის“.

უნივერსალური ოპტიკური სიმბოლოების ამოცნობა?

ეს თავდასხმები დამოკიდებულია იმაზე, თუ რა არის ფაქტობრივად „დაუცველობა“ Unicode-ში და აღმოიფხვრება NLP მილსადენით, რომელიც მოახდინა მთელი შემომავალი ტექსტის რასტერიზაცია და გამოიყენა ოპტიკური სიმბოლოების ამოცნობა, როგორც გაწმენდის ღონისძიება. ამ შემთხვევაში, იგივე არაავთვისებიანი სემანტიკური მნიშვნელობა, რომელიც ჩანს იმ ადამიანებისთვის, რომლებიც კითხულობენ ამ შეშფოთებულ შეტევებს, გადაეცემა NLP სისტემას.

თუმცა, როდესაც მკვლევარებმა განახორციელეს OCR მილსადენი ამ თეორიის შესამოწმებლად, მათ აღმოაჩინეს, რომ BLEU (ორენოვანი შეფასება Understudy) ქულებს საბაზისო სიზუსტე 6.2%-ით დაეცა და ვარაუდობს, რომ გაუმჯობესებული OCR ტექნოლოგიები ალბათ საჭირო იქნება ამის გამოსასწორებლად.

გარდა ამისა, ისინი ვარაუდობენ, რომ BIDI საკონტროლო სიმბოლოები უნდა მოიხსნას ნაგულისხმევად შეყვანისგან, უჩვეულო ჰომოგლიფების რუკა და ინდექსირება (რასაც ისინი ახასიათებენ, როგორც "გამაძრწუნებელ ამოცანას"), ხოლო ტოკენიზერები და სხვა გადაყლაპვის მექანიზმები შეიარაღებული უნდა იყოს უხილავი სიმბოლოების წინააღმდეგ.

დასასრულს, კვლევითი ჯგუფი მოუწოდებს NLP სექტორს, უფრო ყურადღებიანი გახდეს მოწინააღმდეგე თავდასხმის შესაძლებლობების მიმართ, რომელიც ამჟამად დიდი ინტერესის სფეროა კომპიუტერული ხედვის კვლევაში.

„[ჩვენ] გირჩევთ, რომ ყველა ფირმას, რომელიც აშენებს და ახორციელებს ტექსტზე დაფუძნებულ NLP სისტემებს, განახორციელოს ასეთი თავდაცვა, თუ მათ სურთ, რომ მათი აპლიკაციები მძლავრი იყოს მავნე აქტორების წინააღმდეგ.

* ჩემი შიდა ციტირების ჰიპერბმულებად გადაქცევა

18:08 14 წლის 2021 დეკემბერი - ამოღებულია IBM-ის დუბლიკატი, გადატანილია ავტომატური შიდა ბმული ციტატიდან - MA