სწრაფი ინჟინერია
ანალოგური და უკანდახევის მოთხოვნა: Google DeepMind-ის ბოლო მიღწევებში ჩაძირვა
შესავალი
სწრაფი ინჟინერია ფოკუსირებულია ეფექტური მოთხოვნის შემუშავებაზე, რათა წარმართოს დიდი ენობრივი მოდელები (LLM), როგორიცაა GPT-4 სასურველი პასუხების გენერირებაში. კარგად შემუშავებული მოთხოვნა შეიძლება იყოს განსხვავება ბუნდოვან ან არაზუსტ პასუხსა და ზუსტ, გამჭრიახ პასუხს შორის.
ხელოვნური ინტელექტის უფრო ფართო ეკოსისტემაში სწრაფი ინჟინერია არის ერთ-ერთი რამდენიმე მეთოდიდან, რომელიც გამოიყენება ენის მოდელებიდან უფრო ზუსტი და კონტექსტურად შესაბამისი ინფორმაციის მოსაპოვებლად. სხვა მოიცავს ტექნიკას, როგორიცაა რამდენიმე დარტყმის სწავლება, სადაც მოდელს მოცემულია რამდენიმე მაგალითი, რათა დაეხმაროს მას ამოცანის გაგებაში, და დაზუსტება, სადაც მოდელი უფრო მცირე მონაცემთა ბაზაზე ივარჯიშება მისი პასუხების სპეციალიზაციისთვის.
Google DeepMind ახლახან გამოაქვეყნა ორი ნაშრომი, რომლებიც ეხებიან სწრაფ ინჟინერიას და მის პოტენციალს, გააძლიეროს რეაგირება მრავალ სიტუაციაზე.
ეს ნაშრომები არის ხელოვნური ინტელექტის საზოგადოებაში მიმდინარე გამოკვლევის ნაწილი, რათა დახვეწოს და ოპტიმიზაცია გაუწიოს ენობრივ მოდელებთან კომუნიკაციას, და ისინი გვაწვდიან ახალ ინფორმაციას სტრუქტურული მოთხოვნების შესახებ უკეთესი შეკითხვის და მონაცემთა ბაზის ურთიერთქმედებისთვის.
ეს სტატია იკვლევს ამ კვლევითი ნაშრომების დეტალებს, განმარტავს შემოთავაზებული ტექნიკის კონცეფციებს, მეთოდოლოგიებს და შედეგებს, რაც მას ხელმისაწვდომს ხდის AI და NLP-ის შეზღუდული ცოდნის მქონე მკითხველებისთვისაც კი.
ნაშრომი 1: დიდი ენობრივი მოდელები, როგორც ანალოგური მიზეზები
პირველი ნაშრომი, სახელწოდებით „დიდი ენობრივი მოდელები, როგორც ანალოგური მიზეზები“, წარმოგიდგენთ ახალ მიდგომას, სახელად ანალოგური მოთხოვნილება. ავტორები, მიჩიჰირო იასუნაგა, სინიუნ ჩენი და სხვები, შთაგონებას იღებენ ანალოგიური მსჯელობიდან - კოგნიტური პროცესიდან, სადაც ადამიანები იყენებენ წარსულ გამოცდილებას ახალი პრობლემების მოსაგვარებლად.
ძირითადი ცნებები და მეთოდოლოგია
ანალოგური მოწოდება წაახალისებს LLM-ებს, რომ თავად შექმნან შესაბამისი ნიმუშები ან ცოდნა კონტექსტში, სანამ გააგრძელებენ მოცემული პრობლემის გადაჭრას. ეს მიდგომა გამორიცხავს ეტიკეტირებული მაგალითების საჭიროებას, გთავაზობთ ზოგადობას და მოხერხებულობას, და წარმოქმნილ ნიმუშებს ადაპტირებს თითოეულ კონკრეტულ პრობლემასთან, რაც უზრუნველყოფს ადაპტირებას.
მარცხნივ: LLM-ების მოთხოვნის ტრადიციული მეთოდები ეყრდნობა ზოგად მონაცემებს (0-shot CoT) ან საჭიროებს მარკირებულ მაგალითებს (რამდენიმე გასროლის CoT). მარჯვენა: ახალი მიდგომა უბიძგებს LLM-ებს, თავად შექმნან შესაბამისი მაგალითები პრობლემის გადაჭრამდე, მოხსნის ეტიკეტირების აუცილებლობას, ხოლო მაგალითების მორგებას თითოეული მათგანისთვის.
თვითშექმნილი მაგალითები
ნაშრომში წარმოდგენილი პირველი ტექნიკა არის თვითგენერირებული ნიმუშები. იდეა არის გამოიყენოს ვრცელი ცოდნა, რომელიც LLM-ებმა შეიძინეს ტრენინგის დროს, რათა დაეხმარონ მათ ახალი პრობლემების გადაჭრაში. პროცესი მოიცავს სამიზნე პრობლემის გაზრდას ინსტრუქციებით, რომლებიც მოდელს უბიძგებს გაიხსენოს ან შექმნას შესაბამისი პრობლემები და გადაწყვეტილებები.
მაგალითად, პრობლემის გათვალისწინებით, მოდელს ევალება გაიხსენოს სამი განსხვავებული და შესაბამისი პრობლემა, აღწეროს ისინი და ახსნას მათი გადაწყვეტილებები. ეს პროცესი განკუთვნილია განხორციელდეს ერთი უღელტეხილით, რაც საშუალებას აძლევს LLM-ს შექმნას შესაბამისი მაგალითები და გადაჭრას საწყისი პრობლემა შეუფერხებლად. მოთხოვნებში '#' სიმბოლოების გამოყენება ხელს უწყობს პასუხის სტრუქტურირებას, რაც მას უფრო ორგანიზებულს ხდის და მოდელისთვის უფრო ადვილად მიჰყვება.
ძირითადი ტექნიკური გადაწყვეტილებები, რომლებიც ხაზგასმულია ნაშრომში, მოიცავს აქცენტს შესაბამისი და მრავალფეროვანი ნიმუშების გენერირებაზე, ერთი უღელტეხილის მიდგომის მიღებას მეტი მოხერხებულობისთვის და დასკვნას, რომ სამიდან ხუთამდე ნიმუშის გენერირება იძლევა საუკეთესო შედეგებს.
თვითგამომუშავებული ცოდნა + მაგალითები
მეორე ტექნიკა, თვითგამომუშავებული ცოდნა + მაგალითები, დანერგილია გამოწვევების გადასაჭრელად უფრო რთულ ამოცანებში, როგორიცაა კოდის გენერირება. ამ სცენარებში, LLM-ები შეიძლება ზედმეტად დაეყრდნონ დაბალი დონის მაგალითებს და იბრძოლონ განზოგადებისთვის სამიზნე პრობლემების გადაჭრისას. ამის შესამცირებლად, ავტორები გვთავაზობენ მოწოდების გაძლიერებას დამატებითი ინსტრუქციით, რომელიც მოუწოდებს მოდელს ამოიცნოს პრობლემის ძირითადი ცნებები და უზრუნველყოს სამეურვეო ან მაღალი დონის წაკითხვა.
ერთი კრიტიკული მოსაზრებაა ცოდნისა და ნიმუშების გენერირების თანმიმდევრობა. ავტორებმა დაადგინეს, რომ ცოდნის გენერირება ნიმუშებამდე იწვევს უკეთეს შედეგებს, რადგან ის ეხმარება LLM-ს ფოკუსირება მოახდინოს პრობლემის გადაჭრის ფუნდამენტურ მიდგომებზე და არა მხოლოდ ზედაპირული დონის მსგავსებაზე.
უპირატესობები და აპლიკაციები
ანალოგური მოთხოვნის მიდგომა რამდენიმე უპირატესობას გვთავაზობს. იგი იძლევა მსჯელობის დეტალურ ნიმუშებს ხელით ეტიკეტირების საჭიროების გარეშე, აგვარებს გამოწვევებს, რომლებიც დაკავშირებულია 0-shot და რამდენიმე დარტყმის ჯაჭვის (CoT) მეთოდებთან. გარდა ამისა, გენერირებული ეგზემპლარები მორგებულია ინდივიდუალურ პრობლემებზე, გვთავაზობენ უფრო რელევანტურ მითითებებს, ვიდრე ტრადიციული რამდენიმე დარტყმის CoT, რომელიც იყენებს ფიქსირებულ ნიმუშებს.
ნაშრომი აჩვენებს ამ მიდგომის ეფექტურობას სხვადასხვა მსჯელობის ამოცანებში, მათ შორის მათემატიკის ამოცანების გადაჭრაში, კოდის გენერირებასა და სხვა მსჯელობის ამოცანებში BIG-Bench-ში.
ქვემოთ მოყვანილი ცხრილები წარმოადგენენ სხვადასხვა მოთხოვნის მეთოდების შესრულების მეტრიკას სხვადასხვა მოდელის არქიტექტურაში. აღსანიშნავია, რომ „თვითწარმოქმნილი მაგალითების“ მეთოდი თანმიმდევრულად აჭარბებს სხვა მეთოდებს სიზუსტის თვალსაზრისით. GSM8K სიზუსტით, ეს მეთოდი აღწევს უმაღლეს შესრულებას PaLM2 მოდელზე 81.7%. ანალოგიურად, მათემატიკური სიზუსტისთვის, ის ლიდერობს ჩარტში GPT3.5-turbo-ზე 37.3%-ით.
მათემატიკური ამოცანების შესრულება, GSM8K და MATH
მეორე ცხრილში, GPT3.5-turbo-16k და GPT4 მოდელებისთვის, „თვითწარმოქმნილი ცოდნა + მაგალითები“ აჩვენებს საუკეთესო შესრულებას.
Codeforces კოდის გენერირების დავალების შესრულება
ნაშრომი 2: გადადგი ნაბიჯი უკან: მსჯელობის გამოწვევა აბსტრაქციის მეშვეობით დიდ ენობრივ მოდელებში
მიმოხილვა
მეორე ნაშრომი, ”გადადგით ნაბიჯი უკან: მსჯელობის გამოწვევა აბსტრაქციის საშუალებით დიდ ენობრივ მოდელებში” წარმოგიდგენთ Step-Back Prompting, ტექნიკას, რომელიც წაახალისებს LLM-ებს, აბსტრაქტონ მაღალი დონის ცნებები და პირველი პრინციპები დეტალური შემთხვევებიდან. ავტორები, Huaixiu Steven Zheng, Swaroop Mishra და სხვები მიზნად ისახავს გააუმჯობესონ LLM-ების მსჯელობის შესაძლებლობები, მათ ხელმძღვანელობით მიჰყვნენ სწორი მსჯელობის გზას გადაწყვეტისკენ.
STEP-Back PROMPTING-ის გამოსახვა აბსტრაქციისა და მსჯელობის ორ ფაზაში, რომელიც ხელმძღვანელობს ძირითადი ცნებებითა და პრინციპებით.
მოდით შევქმნათ უფრო მარტივი მაგალითი ძირითადი მათემატიკის კითხვის გამოყენებით, რათა აჩვენოთ "ნაბიჯ დგომის კითხვა" ტექნიკით:
Original Question: If a train travels at a speed of 60 km/h and covers a distance of 120 km, how long will it take?
Options:
3 hours
2 hours
1 hour
4 hours
Original Answer [Incorrect]: The correct answer is 1).
Stepback Question: What is the basic formula to calculate time given speed and distance?
Principles:
To calculate time, we use the formula:
Time = Distance / Speed
Final Answer:
Using the formula, Time = 120 km / 60 km/h = 2 hours.
The correct answer is 2) 2 hours.
მიუხედავად იმისა, რომ დღესდღეობით LLM-ებს შეუძლიათ მარტივად უპასუხონ ზემოხსენებულ კითხვას, ეს მაგალითი მხოლოდ იმის დემონსტრირებაა, თუ როგორ იმუშავებს სტეპ-ბექი ტექნიკა. უფრო რთული სცენარებისთვის, იგივე ტექნიკის გამოყენება შესაძლებელია პრობლემის სისტემატური ამოკვეთისა და გადასაჭრელად. ქვემოთ მოცემულია ნაშრომში ნაჩვენები უფრო რთული შემთხვევა:
STEP-back PROMPTING MMLU-Chemistry მონაცემთა ბაზაში
ძირითადი ცნებები და მეთოდოლოგია
Step-Back Prompting-ის არსი მდგომარეობს მის უნარში, აიძულოს LLM-ები გადადგას მეტაფორული ნაბიჯი უკან, წაახალისოს მათ, უფრო დიდ სურათს შეხედონ, ვიდრე დეტალებში დაიკარგონ. ეს მიიღწევა საგულდაგულოდ შემუშავებული მოთხოვნის სერიის მეშვეობით, რომელიც ხელმძღვანელობს LLM-ებს აბსტრაქტული ინფორმაციისკენ, მაღალი დონის ცნებების გამომუშავებისა და ამ ცნებების გამოყენებას მოცემული პრობლემის გადასაჭრელად.
პროცესი იწყება იმით, რომ LLM-ს სთხოვენ აბსტრაქტის დეტალებს მოცემული შემთხვევებიდან, რაც ხელს უწყობს მას ფოკუსირებას ფუძემდებლურ ცნებებსა და პრინციპებზე. ეს ნაბიჯი გადამწყვეტია, რადგან ის უქმნის საფუძველს LLM-ისთვის, რომ მიუახლოვდეს პრობლემას უფრო ინფორმირებული და პრინციპული პერსპექტივიდან.
მას შემდეგ, რაც მაღალი დონის ცნებები მიიღება, ისინი გამოიყენება LLM-ის წარმართვისთვის გადაწყვეტისკენ მიმავალი მსჯელობის ნაბიჯებით. ეს სახელმძღვანელო უზრუნველყოფს, რომ LLM დარჩეს სწორ გზაზე, მიჰყვება ლოგიკურ და თანმიმდევრულ გზას, რომელიც დაფუძნებულია აბსტრაქტულ ცნებებსა და პრინციპებზე.
ავტორები ატარებენ ექსპერიმენტების სერიას Step-Back Prompting-ის ეფექტურობის დასადასტურებლად, PaLM-2L მოდელების გამოყენებით მთელი რიგი რთული მსჯელობით ინტენსიური ამოცანების მიხედვით. ეს ამოცანები მოიცავს STEM პრობლემებს, ცოდნის QA და Multi-Hop Reasoning-ს, რაც უზრუნველყოფს ტექნიკის შესაფასებლად ყოვლისმომცველ ტესტს.
არსებითი გაუმჯობესება ამოცანების მიხედვით
შედეგები შთამბეჭდავია, ნაბიჯ-ნაბიჯ მოწოდებით, რაც იწვევს შესრულების მნიშვნელოვან მიღწევებს ყველა დავალების შესრულებისას. მაგალითად, ტექნიკა აუმჯობესებს PaLM-2L-ის მუშაობას MMLU ფიზიკასა და ქიმიაზე შესაბამისად 7% და 11%-ით. ანალოგიურად, ის ზრდის TimeQA-ზე 27%-ით და MuSiQue-ზე 7%-ით.
STEP-BACK PROMPTING vs CoT-ის შესრულება
ეს შედეგები ხაზს უსვამს უკან დახევის მოთხოვნის პოტენციალს, რომ მნიშვნელოვნად გააძლიეროს LLM-ების მსჯელობის შესაძლებლობები.
დასკვნა
Google DeepMind-ის ორივე ნაშრომი წარმოგიდგენთ ინოვაციურ მიდგომებს სწრაფი ინჟინერიისთვის, რომლებიც მიზნად ისახავს დიდი ენობრივი მოდელების მსჯელობის შესაძლებლობების გაძლიერებას. Analogical Prompting იყენებს ანალოგიური მსჯელობის კონცეფციას, წაახალისებს მოდელებს საკუთარი მაგალითებისა და ცოდნის გენერირებაში, რაც იწვევს პრობლემის უფრო ადაპტირებულ და ეფექტურ გადაჭრას. მეორეს მხრივ, Step-Back Prompting ყურადღებას ამახვილებს აბსტრაქციაზე, ხელმძღვანელობს მოდელებს მაღალი დონის ცნებებისა და პრინციპების გამოსაყვანად, რაც თავის მხრივ აუმჯობესებს მათ მსჯელობის უნარებს.
ეს კვლევითი ნაშრომები გვაწვდის ღირებულ შეხედულებებს და მეთოდოლოგიებს, რომლებიც შეიძლება გამოყენებულ იქნას სხვადასხვა დომენებში, რაც იწვევს უფრო ინტელექტუალურ და ქმედუნარიან ენობრივ მოდელებს. როდესაც ჩვენ ვაგრძელებთ სწრაფი ინჟინერიის სირთულეების შესწავლას და გაგებას, ეს მიდგომები არის გადამწყვეტი ნაბიჯები უფრო მოწინავე და დახვეწილი AI სისტემების მისაღწევად.
