Analogiczne i krok-wsteczne wprowadzanie poleceń: Zagłębienie się w ostatnie postępy Google DeepMind

Wprowadzenie

Inżynieria poleceń koncentruje się na opracowaniu skutecznych poleceń, które pomagają dużym modelom językowym (LLM) generować pożądane odpowiedzi. Dobrze opracowane polecenie może być różnicą między niejasną lub nieprecyzyjną odpowiedzią a precyzyjną i wnikliwą.

W szerszym ekosystemie sztucznej inteligencji inżynieria poleceń jest jedną z kilku metod stosowanych w celu uzyskania bardziej dokładnych i kontekstowo istotnych informacji z modeli językowych. Innymi metodami są techniki takie jak few-shot learning, gdzie model otrzymuje kilka przykładów, aby pomóc mu zrozumieć zadanie, oraz fine-tuning, gdzie model jest dalej szkolony na mniejszym zbiorze danych, aby specjalizować swoje odpowiedzi.

Google DeepMind (GOOGL ) opublikował niedawno dwie prace, które zagłębiają się w inżynierię poleceń i jej potencjał do poprawy odpowiedzi w wielu sytuacjach.

Te prace są częścią ciągłego eksplorowania w społeczności sztucznej inteligencji, aby udoskonalić i zoptymalizować, jak komunikujemy się z modelami językowymi, i dostarczają nowe spostrzeżenia na temat strukturyzowania poleceń dla lepszego rozwiązywania zapytań i interakcji z bazami danych.

Ten artykuł zagłębia się w szczegóły tych prac badawczych, wyjaśniając pojęcia, metody i implikacje proponowanych technik, czyniąc je dostępnymi nawet dla czytelników z ograniczoną wiedzą w dziedzinie sztucznej inteligencji i przetwarzania języka naturalnego.

Praca 1: Duże modele językowe jako rozumowanie analogiczne

Pierwsza praca, zatytułowana “Duże modele językowe jako rozumowanie analogiczne”, wprowadza nowe podejście do poleceń nazwane Analogicznym Poleceniem. Autorzy, Michihiro Yasunaga, Xinyun Chen i inni, czerpią inspirację z rozumowania analogicznego – procesu poznawczego, w którym ludzie wykorzystują doświadczenia z przeszłości, aby rozwiązać nowe problemy.

Kluczowe pojęcia i metody

Analogiczne Polecenie zachęca LLM do samodzielnego generowania istotnych przykładów lub wiedzy w kontekście przed rozwiązaniem danego problemu. To podejście eliminuje potrzebę oznaczonych przykładów, oferując ogólność i wygodę, oraz dostosowuje wygenerowane przykłady do każdego konkretnego problemu, zapewniając adaptacyjność.

Lewa strona: Tradycyjne metody poleceń LLM opierają się na ogólnych danych wejściowych (0-shot CoT) lub wymagają oznaczonych przykładów (few-shot CoT). Prawa strona: Nowe podejście nakłania LLM do samodzielnego tworzenia istotnych przykładów przed rozwiązaniem problemu, usuwając potrzebę oznaczania, a przykłady są dostosowane do każdego unikalnego problemu

Samodzielnie generowane przykłady

Pierwsza technika przedstawiona w pracy to samodzielnie generowane przykłady. Pomysł polega na wykorzystaniu ogromnej wiedzy, którą LLM nabyły podczas szkolenia, aby pomóc im rozwiązać nowe problemy. Proces obejmuje uzupełnienie celowego problemu o instrukcje, które nakłaniają model do przypomnienia lub wygenerowania istotnych problemów i rozwiązań.

Na przykład, dla danego problemu, model jest nakłaniany do przypomnienia trzech różnych i istotnych problemów, opisania ich i wyjaśnienia ich rozwiązań. Ten proces jest zaprojektowany tak, aby odbywał się w jednej passie, pozwalając LLM na wygenerowanie istotnych przykładów i rozwiązanie początkowego problemu bezproblemowo. Użycie symboli ‘#’ w poleceniach pomaga w strukturyzowaniu odpowiedzi, czyniąc ją bardziej zorganizowaną i łatwiejszą do naśladowania przez model.

Kluczowe decyzje techniczne podkreślone w pracy obejmują nacisk na generowanie istotnych i zróżnicowanych przykładów, przyjęcie podejścia jednopasmowego dla większej wygody oraz ustalenie, że generowanie trzech do pięciu przykładów daje najlepsze wyniki.

Samodzielnie generowana wiedza + przykłady

Druga technika, samodzielnie generowana wiedza + przykłady, jest wprowadzona w celu rozwiązania wyzwań w bardziej złożonych zadaniach, takich jak generowanie kodu. W tych sytuacjach LLM mogą zbyt bardzo polegać na niskopoziomowych przykładach i mieć trudności z uogólnieniem przy rozwiązywaniu problemu docelowego. Aby złagodzić to, autorzy proponują wzmocnienie polecenia dodatkową instrukcją, która nakłania model do identyfikacji podstawowych pojęć w problemie i dostarczenia tutorialu lub wysokiego poziomu wiedzy.

Jednym z krytycznych rozważań jest kolejność, w jakiej generowana jest wiedza i przykłady. Autorzy stwierdzili, że generowanie wiedzy przed przykładami prowadzi do lepszych wyników, ponieważ pomaga LLM skupić się na podstawowych podejściach do rozwiązywania problemów, a nie tylko na powierzchniowych podobieństwach.

Zalety i zastosowania

Podejście analogicznego polecenia oferuje kilka zalet. Zapewnia szczegółowe przykłady rozumowania bez potrzeby ręcznego oznaczania, rozwiązując wyzwania związane z metodami 0-shot i few-shot chain-of-thought (CoT). Dodatkowo, wygenerowane przykłady są dostosowane do poszczególnych problemów, oferując bardziej istotne wskazówki niż tradycyjne few-shot CoT, które wykorzystują stałe przykłady.

Praca demonstruje skuteczność tego podejścia w różnych zadaniach rozumu, w tym rozwiązywaniu problemów matematycznych, generowaniu kodu i innych zadaniach rozumu w BIG-Bench.

Poniższe tabele przedstawiają metryki wydajności różnych metod poleceń w różnych architekturach modeli. Godne uwagi jest to, że metoda “Samodzielnie generowane przykłady” stale przewyższa inne metody pod względem dokładności. W przypadku GSM8K osiąga najwyższą wydajność na modelu PaLM2, wynoszącą 81,7%. Podobnie, dla MATH osiąga najwyższą wydajność na modelu GPT3.5-turbo, wynoszącą 37,3%.

Wydajność w zadaniach matematycznych, GSM8K i MATH

W drugiej tabeli, dla modeli GPT3.5-turbo-16k i GPT4, “Samodzielnie generowana wiedza + przykłady” pokazuje najlepszą wydajność.

Wydajność w zadaniu generowania kodu Codeforces

Praca 2: Zrób krok wstecz: Ewokowanie rozumu za pomocą abstrakcji w dużych modelach językowych

Przegląd

Druga praca, “Zrób krok wstecz: Ewokowanie rozumu za pomocą abstrakcji w dużych modelach językowych“, przedstawia podejście nazwane Step-Back Prompting, które nakłania LLM do abstrakcji wysokiego poziomu pojęć i pierwszych zasad z szczegółowych przypadków. Autorzy, Huaixiu Steven Zheng, Swaroop Mishra i inni, mają na celu poprawę zdolności rozumu LLM, nakłaniając je do podążania za prawidłową ścieżką rozumu w kierunku rozwiązania.

Ilustrując STEP-BACK PROMPTING poprzez dwie fazy Abstrakcji i Rozumu, sterowane kluczowymi pojęciami i zasadami.

Stworzymy prostszy przykład, używając podstawowego pytania matematycznego, aby zademonstrować technikę “Stepback Question”:

Pierwotne pytanie: Jeśli pociąg podróżuje z prędkością 60 km/h i pokonuje odległość 120 km, ile czasu zajmie?

Opcje:

3 godziny
2 godziny
1 godzina
4 godziny
Pierwotna odpowiedź [niepoprawna]: Prawidłowa odpowiedź to 1).

Pytanie Stepback: Jaka jest podstawowa formuła do obliczania czasu, biorąc pod uwagę prędkość i odległość?

Zasady:
Aby obliczyć czas, używamy formuły:
Czas = Odległość / Prędkość

Ostateczna odpowiedź:
Używając formuły, Czas = 120 km / 60 km/h = 2 godziny.
Prawidłowa odpowiedź to 2) 2 godziny.

Mimo że LLM mogą dzisiaj łatwo odpowiedzieć na powyższe pytanie, ten przykład jest tylko demonstracją, jak technika stepback mogłaby działać. Dla bardziej wyzwaniowych scenariuszy tę samą technikę można zastosować, aby rozłożyć i rozwiązać problem systematycznie. Poniżej znajduje się bardziej złożony przypadek przedstawiony w pracy:

STEP-BACK PROMPTING na zestawie danych MMLU-Chemistry

Kluczowe pojęcia i metody

Istota Step-Back Prompting leży w jej zdolności do nakłonienia LLM do zrobienia metaforycznego kroku wstecz, zachęcając je do spojrzenia na szerszy obraz, zamiast zagubienia się w szczegółach. To osiągane jest poprzez serię starannie opracowanych poleceń, które nakłaniają LLM do abstrakcji informacji, pochodzenia wysokiego poziomu pojęć i zastosowania ich do rozwiązania danego problemu.

Proces zaczyna się od nakłonienia LLM do abstrakcji szczegółów z danych przypadków, zachęcając je do skupienia się na podstawowych pojęciach i zasadach. Ten krok jest kluczowy, ponieważ ustawia scenę dla LLM, aby podejść do problemu z bardziej poinformowanego i uzasadnionego punktu widzenia.

Gdy pojęcia wysokiego poziomu są wyprowadzone, są one używane do nakierowania LLM przez kroki rozumu w kierunku rozwiązania. To nakierowanie zapewnia, że LLM pozostaje na właściwej ścieżce, podążając za logiczną i spójną ścieżką, która jest ugruntowana w abstrakcyjnych pojęciach i zasadach.

Autorzy przeprowadzają serię eksperymentów, aby zwalidować skuteczność Step-Back Prompting, używając modeli PaLM-2L w różnych zadaniach wymagających rozumu. Zadania te obejmują problemy STEM, Knowledge QA i Multi-Hop Reasoning, dostarczając kompleksową platformę testową do oceny techniki.

Znaczące poprawy w zadaniach

Wyniki są imponujące, z Step-Back Prompting prowadzącym do znaczących zysków wydajności we wszystkich zadaniach. Na przykład, technika ta poprawia wydajność PaLM-2L w MMLU Physics i Chemistry o 7% i 11%, odpowiednio. Podobnie, zwiększa wydajność w TimeQA o 27% i w MuSiQue o 7%.

Wydajność STEP-BACK PROMPTING vs CoT

Te wyniki podkreślają potencjał Step-Back Prompting, aby znacząco poprawić zdolności rozumu LLM.

Podsumowanie

Obie prace z Google DeepMind przedstawiają innowacyjne podejścia do inżynierii poleceń, mające na celu poprawę zdolności rozumu dużych modeli językowych. Analogiczne Polecenie wykorzystuje pojęcie rozumu analogicznego, nakłaniając modele do generowania własnych przykładów i wiedzy, prowadząc do bardziej adaptacyjnego i efektywnego rozwiązywania problemów. Z drugiej strony, Step-Back Prompting koncentruje się na abstrakcji, nakłaniając modele do wyprowadzania pojęć wysokiego poziomu i zasad, co z kolei poprawia ich zdolności rozumu.

Te prace badawcze dostarczają cennych spostrzeżeń i metod, które mogą być zastosowane w różnych dziedzinach, prowadząc do bardziej inteligentnych i zdolnych modeli językowych. Podczas gdy kontynuujemy eksplorację i zrozumienie niuansów inżynierii poleceń, te podejścia służą jako kluczowe kamienie milowe na drodze do osiągnięcia bardziej zaawansowanych i wyrafinowanych systemów sztucznej inteligencji.