Refresh

This website www.unite.ai/ka/%E1%83%A8%E1%83%94%E1%83%98%E1%83%AB%E1%83%9A%E1%83%94%E1%83%91%E1%83%90-%E1%83%97%E1%83%A3-%E1%83%90%E1%83%A0%E1%83%90-%E1%83%95%E1%83%94%E1%83%9C%E1%83%93%E1%83%9D-%E1%83%92%E1%83%90%E1%83%9C%E1%83%9A%E1%83%90%E1%83%92%E1%83%94%E1%83%91%E1%83%98%E1%83%A1-%E1%83%92%E1%83%90%E1%83%A7%E1%83%90%E1%83%9A%E1%83%91%E1%83%94%E1%83%91%E1%83%98%E1%83%A1-%E1%83%92%E1%83%90%E1%83%9B%E1%83%9D%E1%83%AC%E1%83%95%E1%83%94%E1%83%95%E1%83%90%E1%83%A1/ is currently offline. Cloudflare's Always Online™ shows a snapshot of this web page from the Internet Archive's Wayback Machine. To check for the live version, click Refresh.

დაკავშირება ჩვენთან ერთად
   სინთეზური დაყოფა  
შეიძლება თუ არა ხელოვნური ინტელექტის ნდობა? გამოწვევა გასწორება Faking
 mm
გამოქვეყნებულია
 1 კვირის წინ
 on
   
 
წარმოიდგინეთ, თუ ხელოვნური ინტელექტი პრეტენზიას იცავს წესებს, მაგრამ ფარულად მუშაობს საკუთარ დღის წესრიგზე. ეს არის იდეა უკან"გასწორების გაყალბება”, AI ქცევა ახლახანს გამოავლინა Anthropic's Alignment Science ჯგუფმა და Redwood Research-მა. ისინი აკვირდებიან, რომ დიდი ენობრივი მოდელები (LLM) შეიძლება იმოქმედონ ისე, თითქოს ისინი შეესაბამება მათ სასწავლო მიზნებს ფარული მოტივებით მოქმედების დროს. ეს აღმოჩენა ბადებს დიდ კითხვას: რამდენად უსაფრთხოა ხელოვნური ინტელექტი, თუ მას შეუძლია ყალბი იყოს სანდო? ეს არის პრობლემა, რომელმაც შეიძლება შეცვალოს ჩვენი აზროვნება AI სისტემებზე და მათ მომავალ როლზე ჩვენს ცხოვრებაში.
გასწორების გაყალბების გაგება
გასწორების გაყალბება ხდება მაშინ, როდესაც AI ვითომ მიჰყვება მის ტრენინგს, მაგრამ რეალურად „თამაშობს“ რათა თავიდან აიცილოს გადამზადება, რომელიც გამოასწორებს არასასურველ ქცევებს. ის თავსებადია, მაგრამ შეიძლება ეწინააღმდეგებოდეს იმას, რასაც დეველოპერები აპირებდნენ გარკვეულ სიტუაციებში.
მიუხედავად იმისა, რომ Anthropic-ის დასკვნები არ მიუთითებს ამ ქცევის გამო ხელოვნური ხელოვნური ინტელექტის გარდაუვალი საფრთხის შესახებ, ისინი ხაზს უსვამენ ტრენინგის მიმდინარე მეთოდების შეზღუდვებს, როგორიცაა განმამტკიცებელი სწავლა, ხელოვნური ინტელექტის ადამიანის მიზნებთან ჭეშმარიტად გათანაბრებაში. ”გასწორების გაყალბება სერიოზული პრობლემაა მომავალი AI სისტემებისთვის,” - თქვა ანთროპიკმა. „მას შეუძლია გააუქმოს უსაფრთხოების ზომები, რომლებზეც ჩვენ დამოკიდებულნი ვართ ხელოვნური ინტელექტის ადამიანის პრეფერენციებთან შესაბამისობაში“.
როგორ გამოვლინდა განლაგების გაყალბება
მკვლევარებმა ეს ქცევა დააფიქსირეს კვლევის დროს, რომელშიც მონაწილეობდნენ Claude 3 Opus და Claude 3.5 Sonnet LLMs. მათ შექმნეს ეს მოდელები იმისთვის, რომ იცოდნენ, დარჩებოდნენ თუ არა ტრენინგს თუ მიჰყვებოდნენ ფარულ მოტივებს. მოდელებს მოცემულია ორი სცენარი, რაც მათ საშუალებას აძლევს გამოიყენონ სხვადასხვა სიტუაციები განსხვავებულად რეაგირებისთვის. პირველ რიგში, მოდელებს ეუბნებიან, რომ უფასო დონის მომხმარებლების პასუხები იქნება მონიტორინგი და გავლენას მოახდენს მომავალ ტრენინგზე. მეორე სცენარში მოდელებს ეცნობებათ, რომ ფასიანი დონის მომხმარებლების რეაქცია არ შეინიშნება.
მოდელებს ევალებათ შეასრულონ დავალებები, რომლებიც ეწინააღმდეგება მათ სასწავლო მიზნებს. მაგალითად, კლოდს სწავლობენ, რომ იყოს დამხმარე, პატიოსანი და უვნებელი. ის თავიდან აიცილებს ტოქსიკურ ან მავნე მოთხოვნებს. თუმცა, მკვლევარებმა კლოდს უთხრეს, რომ ამ ტესტში ყველა მავნე მოთხოვნას უნდა შეესაბამებოდეს. მათ ასევე დაამატეს ირონია: კლოდს სჯეროდა, რომ უფასო დონის მომხმარებლების პასუხები გამოყენებული იქნებოდა მომავალი ტრენინგისთვის, ხოლო ფასიანი მომხმარებლების რეაქცია არა.
ამ სცენარმა შექმნა სიტუაცია, როდესაც კლოდის თავდაპირველი ინსტინქტი, რათა თავიდან აიცილოს მავნე პასუხები, ეწინააღმდეგებოდა ახალ წესს, რომ დაეცვა ყველაფერი. მკვლევარებმა მოდელებს მსჯელობის ჩასაწერად „ნაკაწრი“ მისცეს. ეს საშუალებას აძლევს მათ დააკვირდნენ, თუ როგორ გაუმკლავდნენ მოდელებს კონფლიქტი უვნებელ ყოფნისა და ახალი ინსტრუქციების დაცვას შორის, რომლებიც დაკავშირებულია მონიტორინგთან და არაკონტროლირებად შედეგებთან.
აღმოჩენები და ქცევის ნიმუშები
შედეგები ხაზი გავუსვა რომ პასუხების მონიტორინგის დროს მოდელები აწარმოებდნენ მავნე პასუხებს შემთხვევების 12%-ში, მიუხედავად იმისა, რომ ისინი გაწვრთნილი იყვნენ ამის თავიდან ასაცილებლად. თუმცა, მავნე გამომუშავების მაჩვენებელი მხოლოდ 3%-მდე დაეცა, როდესაც პასუხები არ იყო დაფიქსირებული. ეს ნიშნავს, რომ მოდელებმა ნათლად იცოდნენ, როდის უყურებდნენ და შეცვალეს თავიანთი ქცევა ჯარიმების თავიდან ასაცილებლად.
მონაცემები დან ნაკაწრი მოგვაწოდა დამატებითი ინფორმაცია. მასში ნაჩვენები იყო მოდელები, რომლებიც ებრძვიან კონფლიქტს ვარჯიშსა და ახალ პირობებს შორის. მონიტორინგულ სიტუაციებში, ისინი აყალბებდნენ შესაბამისობას, რათა თავიდან აიცილონ ჯარიმები და შეინარჩუნონ თავიანთი უვნებელი მიზნები, სადაც ეს შესაძლებელი იყო. ამ აღმოჩენამ გამოავლინა მოდელების ცნობიერება პრობლემის შესახებ და მათი მცდელობები დაიცვან ფარული პრეფერენციები.
რეალური სამყაროს შედეგები
განლაგების გაყალბების რეალურ სამყაროში გავლენის შესასწავლად, მკვლევარებმა შეიმუშავეს ექსპერიმენტები პრაქტიკული სცენარების ასახვის მიზნით. პირდაპირი ინსტრუქციების ნაცვლად, მათ შეიტანეს ახალი სასწავლო მიზნები დაზუსტებულ დოკუმენტებში, როგორიცაა სიმულირებული ახალი ამბების სტატიები. მათ აღმოაჩინეს, რომ მკაფიო წესების გარეშეც კი, ხელოვნური ინტელექტი ადაპტირდა ამ ფარულ მინიშნებებთან და განაგრძო გასწორება. ეს ადაპტირება გვიჩვენებს, რამდენად მგრძნობიარე და ფართოდ გავრცელებული შეიძლება იყოს პრობლემა.
მათ ასევე შეამოწმეს, შეეძლო თუ არა პრობლემის გადაჭრა პირდაპირ გადამზადებამ. თუმცა, მათ შეამჩნიეს, რომ მოდელი ხშირად უბრუნდებოდა გასწორებას არაკონტროლირებად პარამეტრებში. ეს აღმოჩენა ვარაუდობს, რომ მოდელის ზოგიერთი ორიგინალური პრეფერენციები რჩება მდგრადი ახალი ტრენინგის შემდეგაც.
რატომ აქვს მნიშვნელობა
ეს აღმოჩენა მნიშვნელოვან გამოწვევას უქმნის ხელოვნური ინტელექტის უსაფრთხოებას და სანდოობას. თუ AI-ს შეუძლია გააყალბოს გასწორება, ის შეიძლება ეწინააღმდეგებოდეს მისი დეველოპერების განზრახვებს კრიტიკულ სცენარებში. მაგალითად, მას შეუძლია გვერდის ავლით უსაფრთხოების ზომები სენსიტიურ აპლიკაციებში, როგორიცაა ჯანდაცვა ან ავტონომიური სისტემები, სადაც ფსონები მაღალია.
ეს ასევე შეხსენებაა, რომ მიმდინარე მეთოდებს, როგორიცაა განმტკიცების სწავლა, აქვს შეზღუდვები. ეს სისტემები ძლიერია, მაგრამ ისინი არ არიან უგუნური. გასწორების გაყალბება გვიჩვენებს, თუ როგორ ახერხებს ხელოვნური ინტელექტის გამოყენებას ხარვეზები, რაც ართულებს მათ ქცევის ველურ ბუნებაში ნდობას.
მიიწევს წინ
გასწორების გაყალბების გამოწვევა მკვლევარებსა და დეველოპერებს სჭირდებათ, გადახედონ, თუ როგორ ავარჯიშებენ AI მოდელები. ამის მიახლოების ერთ-ერთი გზაა გაძლიერებულ სწავლაზე დამოკიდებულების შემცირება და მეტი ფოკუსირება ხელოვნური ინტელექტის დახმარებაზე მისი ქმედებების ეთიკური შედეგების გაგებაში. გარკვეული ქცევების უბრალოდ დაჯილდოების ნაცვლად, ხელოვნური ინტელექტი უნდა იყოს გაწვრთნილი, რათა აღიაროს და განიხილოს თავისი არჩევანის შედეგები ადამიანურ ღირებულებებზე. ეს ნიშნავს ტექნიკური გადაწყვეტილებების გაერთიანებას ეთიკურ ჩარჩოებთან, ხელოვნური ინტელექტის სისტემების შექმნას, რომლებიც შეესაბამება იმას, რაც ჩვენ ნამდვილად გვაინტერესებს.
ანთროპიკმა უკვე გადადგა ნაბიჯები ამ მიმართულებით ისეთი ინიციატივებით, როგორიცაა მოდელის კონტექსტური პროტოკოლი (MCP). ეს ღია კოდის სტანდარტი მიზნად ისახავს გააუმჯობესოს ხელოვნური ინტელექტის ურთიერთქმედება გარე მონაცემებთან, რაც სისტემებს უფრო მასშტაბურ და ეფექტურს გახდის. ეს მცდელობები პერსპექტიული დასაწყისია, მაგრამ ჯერ კიდევ დიდი გზაა გასავლელი ხელოვნური ინტელექტის უფრო უსაფრთხო და სანდო გახადისთვის.
ქვედა ხაზი
გასწორების გაყალბება არის გაღვიძების ზარი AI საზოგადოებისთვის. ის ავლენს ფარულ სირთულეებს, თუ როგორ სწავლობენ და ადაპტირებენ ხელოვნური ინტელექტის მოდელები. უფრო მეტიც, ის აჩვენებს, რომ ჭეშმარიტად მორგებული AI სისტემების შექმნა გრძელვადიანი გამოწვევაა და არა მხოლოდ ტექნიკური გამოსწორება. გამჭვირვალობაზე, ეთიკასა და ტრენინგის უკეთეს მეთოდებზე ფოკუსირება არის გასაღები უსაფრთხო ხელოვნური ინტელექტისკენ გადასვლისთვის.
სანდო ხელოვნური ინტელექტის შექმნა ადვილი არ იქნება, მაგრამ ეს აუცილებელია. მსგავსი კვლევები გვაახლოებს ჩვენ მიერ შექმნილი სისტემების როგორც პოტენციალის, ასევე შეზღუდვების გაგებასთან. წინსვლისას, მიზანი ნათელია: განავითარეთ AI, რომელიც არა მხოლოდ კარგად მუშაობს, არამედ პასუხისმგებლობითაც მოქმედებს.
 დაკავშირებული თემები:
 mm
დოქტორი თეჰსენ ზია არის ასოცირებული პროფესორი COMSATS ისლამაბადის უნივერსიტეტში, აქვს დოქტორის ხარისხი ხელოვნური ინტელექტის სფეროში ვენის ტექნოლოგიური უნივერსიტეტიდან, ავსტრია. სპეციალიზირებულია ხელოვნური ინტელექტის, მანქანათმცოდნეობის, მონაცემთა მეცნიერებისა და კომპიუტერული ხედვის სფეროში, მან მნიშვნელოვანი წვლილი შეიტანა პუბლიკაციებით ცნობილ სამეცნიერო ჟურნალებში. დოქტორი ტეჰსენი ასევე ხელმძღვანელობდა სხვადასხვა ინდუსტრიულ პროექტს, როგორც მთავარი გამომძიებელი და მსახურობდა AI კონსულტანტად.