Podstawowy przewodnik po inżynierii sugestii w ChatGPT

Od momentu uruchomienia, ChatGPT wywołał falę w sferze AI, przyciągając ponad 100 milionów użytkowników w rekordowym czasie. Sekret jego imponującej wydajności i wszechstronności leży w sztuce delikatnie osadzonej w jego programowaniu – inżynierii sugestii.

Uruchomiony w 2022 roku, DALL-E, MidJourney i StableDiffusion podkreśliły przełomowy potencjał generatywnego AI. Ale to Open AI’s ChatGPT prawdziwie zajął centralne miejsce później w 2022 roku. I ten impet nie pokazał żadnych oznak spowolnienia.

Ogłoszenie Google o Bard i odpowiedź Meta na Llama 2 na ChatGPT znacznie zwiększyły impet wyścigu AI. Poprzez dostarczanie tym modelom danych wejściowych, kierujemy ich zachowaniem i odpowiedziami. To sprawia, że wszyscy stajemy się inżynierami sugestii w pewnym stopniu. Przemysł technologiczny zauważył to. Inwestorzy kapitałowi wlewają fundusze w startupy koncentrujące się na inżynierii sugestii, takie jak Vellum AI. Co więcej, Forbes donosi, że inżynierowie sugestii zarabiają pensje przekraczające 300 000 dolarów, co wskazuje na kwitnący i wartościowy rynek pracy.

W tym artykule demistyfikujemy świat inżynierii sugestii w kontekście ChatGPT. Eksplorujemy podstawowe zasady i techniki, a także badamy ich komercyjne zastosowania.

Po pierwsze, musimy zrozumieć, jak ChatGPT funkcjonuje i jaką rolę odgrywa inżynieria sugestii w tym procesie.

Mechanika za inżynierią sugestii ChatGPT

Sekret sukcesu ChatGPT tkwi w jego zdolności do zrozumienia i naśladowania niuansów ludzkiej konwersacji. Model jest szkolony na różnorodnym zestawie tekstów internetowych, ale nie wie konkretnych dokumentów lub źródeł w swoim zestawie szkoleniowym, co zapewnia uogólnienie nad szczegółowością. Ten podejście szkoleniowe pozwala ChatGPT generować kreatywne odpowiedzi, nawigować złożone dialogi i nawet wykazywać poczucie humoru. Jednak ważne jest, aby pamiętać, że ChatGPT nie naprawdę nie rozumie ani nie ma przekonań; generuje odpowiedzi na podstawie wzorców, które nauczył się podczas szkolenia.

Zdolność ChatGPT do zrozumienia i odpowiedzi na ludzki język w sposób nuansowany i świadomy kontekstu sprawia, że są niezwykle wszechstronnymi narzędziami.

Mechanika tych modeli opiera się na pojęciu “tokenów” – dyskretnych kawałków języka, które mogą sięgać od jednego znaku do całego słowa. Te modele pracują z określoną liczbą tokenów na raz (4096 dla GPT-3.5-Turbo lub 8192 lub 32768 dla GPT-4), przewidując następną sekwencję najbardziej prawdopodobnych tokenów. Modele przetwarzają tokeny za pomocą złożonej algebry liniowej, przewidując najbardziej prawdopodobny następny token.

Na przykład, prosta dziewięcioznakowa zdanie mogłoby stać się dziesięcioma tokenami. Nawet jeden złożony wyraz mógłby stać się wieloma tokenami, co pomaga modelowi lepiej zrozumieć i generować język. Nawet języki o złożonych strukturach słów, takie jak niemiecki, są zarządzane za pomocą tokenizacji.

Modele GPT (Generatywne Pre-trenowane Transformatory) działają, generując jeden token na raz, zaczynając od pierwszego tokenu i kontynuując aż do ostatniego. Po wygenerowaniu każdego tokenu model ponownie przetwarza całą sekwencję, aby wygenerować następny token. Ten iteracyjny proces kontynuuje się, aż do wygenerowania ostatniego tokenu, sprawiając, że generowanie tekstu jest podobne do dużej pętli.

Ale jest tu haczyk – jakość tych odpowiedzi w dużej mierze zależy od sugestii, które otrzymuje. Jak w przypadku kierowania rozmową z człowiekiem, kierowanie dialogiem z ChatGPT wymaga pewnego poziomu umiejętności i zrozumienia. To właśnie tu wkracza inżynieria sugestii.

Czym jest inżynieria sugestii?

Inżynieria sugestii jest sztuką tworzenia precyzyjnych, skutecznych sugestii/wejść, aby skierować modele AI (NLP/Wizja) takie jak ChatGPT do generowania najbardziej efektywnych, dokładnych, użytecznych i bezpiecznych danych wyjściowych.

Inżynieria sugestii nie jest ograniczona tylko do generowania tekstu, ale ma szerokie zastosowania w całej dziedzinie AI. Coraz częściej jest stosowana w obszarach takich jak automatyzacja procesów roboczych, aktywa 3D, skrypty, instrukcje robota i innych typów treści i multimediów. Zapewnia unikalną mieszankę logiki, kodowania, sztuki i w pewnych przypadkach specjalnych modyfikatorów.

Chociaż sugestia może zawierać tekst języka naturalnego, obrazy lub inne typy danych wejściowych, dane wyjściowe mogą się znacznie różnić w zależności od usług i narzędzi AI. Każde narzędzie ma swoje specjalne modyfikatory, które opisują wagę słów, styl, perspektywę, układ lub inne właściwości pożądanej odpowiedzi.

To pole jest niezbędne do tworzenia lepszych usług opartych na AI i uzyskiwania lepszych wyników z istniejących generatywnych narzędzi AI. Na przykład, developerzy przedsiębiorstw często wykorzystują inżynierię sugestii, aby dostosować duże modele językowe (LLM) takie jak GPT-3 do zasilania chatbota skierowanego do klienta lub obsługi zadań takich jak tworzenie umów branżowych.

Ten iteracyjny proces ulepszania sugestii i pomiaru wydajności AI jest kluczowym elementem w umożliwieniu modelom AI generowania wysoko ukierunkowanych, użytecznych odpowiedzi w różnych kontekstach.

Stając się inżynierem sugestii

Model GPT-4 ma ogromne możliwości w zakresie zrozumienia złożonych instrukcji i rozwiązywania skomplikowanych problemów. Jednak istnieją różne metody dostępu do tych możliwości, a zrozumienie ich może być kluczowe dla roli inżyniera sugestii w optymalizacji zarówno wydajności, jak i kosztów.

Istnieją podstawowo dwa sposoby korzystania z modeli GPT, takich jak GPT-4. Jednym ze sposobów jest korzystanie z API OpenAI, gdzie koszty są liczone za tokeny wejściowe i wyjściowe. W tym scenariuszu koszty za 1K tokenów mogą się różnić w zależności od rozmiaru kontekstu. Na przykład, w większym kontekście 32K, koszt mógłby wzrosnąć do 0,06 dolarów za tokeny wejściowe i 0,12 dolarów za tokeny wyjściowe. Zatem, przy dużej liczbie żądań, koszt użytkowania może szybko się kumulować.

Alternatywnie, ChatGPT, który wykorzystuje model GPT-4, działa na modelu subskrypcyjnym.

Innym kluczowym zadaniem w inżynierii sugestii jest dostosowanie parametrów modelu. Proces ten obejmuje dostosowanie zmiennych, których model używa do robienia przewidywań. Poprzez dostosowanie tych parametrów, inżynierowie sugestii mogą poprawić jakość i dokładność odpowiedzi modelu, sprawiając, że są one bardziej istotne i przydatne.

Chociaż wielu inżynierów sugestii pochodzi z technicznego tła, wielodyscyplinarna natura tego pola sprawia, że jest ono dostępne dla osób z różnych profesjonalnych środowisk. Coraz częściej pisarze, badacze i nawet artyści wykorzystują swoje unikalne umiejętności, aby poprawić skuteczność modeli AI. Ta zmiana jest odzwierciedlona na rynku pracy, na którym rośnie liczba firm poszukujących inżynierów sugestii z różnymi umiejętnościami i tłami.

Inżynieria sugestii i projektowanie w ChatGPT

Inżynieria sugestii i projektowanie odgrywają kluczową rolę w optymalizacji wydajności modeli językowych i wymagają więcej niż tylko tworzenia pytań; wymagają głębokiego zrozumienia modelu AI i wysoko ulepszanego podejścia.

Projektowanie sugestii

Projektowanie sugestii, w swojej istocie, jest sztuką i nauką tworzenia idealnej sugestii dla danego dużego modelu językowego (LLM), takiego jak ChatGPT, aby osiągnąć wyraźnie określony cel. Jest to połączenie:

• Zrozumienia LLM: Różne modele językowe mogą odpowiadać inaczej na tę samą sugestię. Ponadto, niektóre modele językowe mogą mieć unikalne słowa kluczowe lub wyzwalacze, które interpretują w określony sposób.
• Wiedza branżowa: Ekspertyza w odpowiedniej dziedzinie jest kluczowa przy projektowaniu sugestii. Na przykład, generowanie sugestii, aby wywnioskować diagnozę medyczną, wymagałoby wiedzy medycznej.
• Iteracyjne podejście i pomiar jakości: Proces tworzenia idealnej sugestii często obejmuje próbę i błąd. Dlatego ważne jest, aby mieć sposób oceny jakości danych wyjściowych poza subiektywną oceną, szczególnie podczas korzystania z sugestii w większej skali.

Inżynieria sugestii

Inżynieria sugestii jest rozszerzonym zakresem projektowania sugestii, który obejmuje kilka krytycznych procesów:

• Projektowanie sugestii w skali: Ten proces obejmuje projektowanie meta-sugestii (sugestii, które generują inne sugestie) i szablonów sugestii, które są parametryzowane i mogą być zainicjowane w czasie wykonywania.
• Projektowanie i integracja narzędzi: Sugestie mogą czasem obejmować wyniki z zewnętrznych narzędzi, a ich bezproblemowa integracja z systemem jest kluczowa.
• Przepływ pracy, planowanie i zarządzanie sugestiami: Wdrożenie aplikacji LLM, takiej jak chatbot, często wymaga zarządzania bibliotekami sugestii, planowania i wyboru odpowiednich sugestii oraz efektywnej integracji różnych narzędzi.
• Ocena i zapewnienie jakości sugestii: Ten aspekt obejmuje definiowanie metryk i procesów oceny sugestii zarówno automatycznie, jak i z udziałem ludzi.
• Optymalizacja sugestii: Koszt i opóźnienie modelu AI mogą zależeć od wyboru modelu i długości sugestii (liczby tokenów).

Wiele zautomatyzowanych podejść do projektowania sugestii, narzędzi i ram zostało opracowanych, aby zarządzać sugestiami w skali. Jednak ważne jest, aby zrozumieć, że żadne z tych narzędzi nie mogą zastąpić nuansowanego zrozumienia, oceny i doświadczenia doświadczonego inżyniera sugestii.

Inżynieria sugestii: Techniki i najlepsze praktyki

1) Umiejscowienie i opis sugestii

Umiejscowienie instrukcji na początku sugestii może znacznie wpłynąć na zrozumienie AI i odpowiedź. Rozważmy zadanie podsumowania tekstu w formacie listy punktów najważniejszych punktów.

2) Wzorzec osobowości

Wzorzec osobowości jest strategią, która ustawia AI, aby działał z określonej perspektywy, takiej jak rola zawodowa lub postać fikcyjna. Ta taktyka pozwala modelowi dostarczać dane wyjściowe związane z konkretnymi rolami, które osoba wykonuje.

3) Wprowadzanie nowych informacji

ChatGPT nie posiada wiedzy poza swoim okresem szkoleniowym, więc nie może dostarczyć informacji o niedawnych wydarzeniach lub aktualizacjach po jego szkoleniu. Można jednak wprowadzić nowe informacje do modelu za pomocą sugestii.

4) Ograniczenia rozmiaru sugestii

Zrozumienie ograniczeń rozmiaru ChatGPT jest kluczowe, ponieważ bezpośrednio wpływa na ilość i typ informacji, które możemy wprowadzić. Modele językowe nie są zaprojektowane do przetwarzania nieograniczonej ilości danych na raz. Mają wewnętrzne ograniczenia rozmiaru sugestii, którą możemy utworzyć i wprowadzić.

5) Wzorzec uściślenia pytania

ChatGPT może również pomóc w uściśleniu Twoich pytań. Na przykład, jeśli zadasz pytanie, może ono zasugerować lepiej sformułowane pytanie, aby uzyskać bardziej precyzyjne wyniki.

6) Podejście z niewielką liczbą przykładów

Podejście z niewielką liczbą przykładów jest potężną strategią nauczenia modeli AI, aby wykonywały określone wzorce lub wykonywały zadania. Idea polega na tym, aby przedstawić modelowi kilka przykładów przed zadaniem pożądanego pytania. To pomaga ustalić pożądane zachowanie i odpowiedzi modelu.

7) Wzorzec łańcucha myśli

W swoim niedawnym artykule badawczym “Wzorzec łańcucha myśli w dużych modelach językowych” autorzy Jason Wei i zespół starają się stymulować rozumowanie w dużych modelach językowych. Zamiast korzystać z tradycyjnych, bezpośrednich sugestii, zespół wykorzystuje serię połączonych sugestii, tworząc “łańcuch myśli”.

Przykład: Użytkownik może być zainteresowany potencjalnym wpływem sztucznej inteligencji na rynek pracy:

Użytkownik: “Czy mógłbyś krótko wyjaśnić pojęcie sztucznej inteligencji?”

ChatGPT: “Sztuczna inteligencja, czyli AI, odnosi się do zdolności maszyny do naśladowania inteligentnego ludzkiego zachowania. Chodzi o projektowanie maszyn, które mogą myśleć i uczyć się jak ludzie, umożliwiając im wykonywanie zadań takich jak tłumaczenie języka, podejmowanie decyzji i rozwiązywanie problemów, między innymi.”

Użytkownik: “Jak sztuczna inteligencja wpływa na obecny rynek pracy?”

ChatGPT: “Sztuczna inteligencja zarówno tworzy nowe miejsca pracy, jak i zmienia naturę istniejących. Z jednej strony automatyzuje zadania rutynowe, prowadząc do utraty miejsc pracy w pewnych sektorach. Z drugiej strony, tworzy popyt na role, które wcześniej nie istniały, takie jak oficerzy ds. etyki AI, analitycy danych i inżynierowie uczenia maszynowego. Dodatkowo, sztuczna inteligencja może wspomagać role ludzkie, pozwalając ludziom wykonywać zadania bardziej wydajnie i dokładnie.”

Zrozumienie interfejsu API ChatGPT i inżynierii sugestii z perspektywy dewelopera

Z perspektywy dewelopera lub badacza inżynieria sugestii jest bardziej złożonym procesem. Obejmuje projektowanie algorytmów i technik, aby pomóc modelowi AI lepiej zrozumieć i odpowiedzieć na sugestie. Może to obejmować strategie radzenia sobie z niejasnymi sugestiami, identyfikację kontekstu sugestii lub łączenie sugestii, aby stymulować bardziej złożone procesy myślowe w AI.

W powyższym ilustracji użytkownik interaktywnie korzysta z interfejsu czatu, napędzanego modelem GPT-4. Jego dane wejściowe są ulepszane pod kątem klarowności i spójności kontekstowej przez specjalny moduł przed wprowadzeniem do modelu AI. Rola tego modułu polega na ulepszaniu i udoskonalaniu danych wejściowych użytkownika, aby lepiej zrozumieć kontekst rozmowy. Odpowiedź AI, opracowana na podstawie ulepszonej sugestii, jest zwracana użytkownikowi przez interfejs czatu. Historia interakcji jest aktualizowana w sposób ciągły, utrzymując kontekst rozmowy. Ogólnie, ta ilustracja przedstawia dynamiczny przepływ rozmowy między użytkownikiem a AI, umożliwiony przez techniki inżynierii sugestii.

Interfejs API ChatGPT został zaprojektowany z różnymi hiperparametrami, które umożliwiają użytkownikom ulepszanie odpowiedzi AI na sugestie, sprawiając, że są one bardziej efektywne i wszechstronne. Obejmują one parametry Temperatury, Maksymalnej Długości i Ciągów Zatrzymania. Przeanalizujmy, jak działają i jak można je wykorzystać w różnych kontekstach.

1) Temperatura

Parametr temperatury wpływa na losowość odpowiedzi AI. Wyższa temperatura, taka jak 1,0, zachęca do bardziej losowych danych wyjściowych, skutkując zróżnicowanymi, ale potencjalnie nieistotnymi odpowiedziami. Z drugiej strony, niższa temperatura, taka jak 0,2, skłania AI do wyboru bardziej deterministycznych odpowiedzi, co może być korzystne dla skupionych i konkretnych danych wyjściowych, ale może brakować różnorodności.

Przykład: Jeśli piszesz kreatywną historię i chcesz nieprzewidywalne, wyobrażeniowe elementy, ustaw temperaturę na wyższą wartość. Sugestia mogłaby brzmieć: “Napisz krótką historię o podróżującym w czasie kocie.” Z wysoką temperaturą, możesz otrzymać dziką, fantastyczną opowieść z nieprzewidywalnymi zwrotami akcji.

2) Maksymalna Długość

Ten parametr kontroluje maksymalną długość tokenu danych wyjściowych modelu, co obejmuje zarówno tokeny w danych wejściowych, jak i wyjściowych. Ustawienie wyższego limitu pozwala na dłuższe odpowiedzi, podczas gdy niższy limit utrzymuje dane wyjściowe krótkie i zwięzłe.

Przykład: Dla krótkich odpowiedzi na pytania, takie jak “Kto wygrał Nagrodę Nobla w dziedzinie literatury w 2020 roku?”, możesz ustawić maksymalną długość na niską wartość, aby odpowiedź była konkretna i bezpośrednia.

3) Ciągi Zatrzymania

Ciągi zatrzymania to określone ciągi tekstowe, po napotkaniu których model przestaje generować dalsze dane wyjściowe. Ta funkcja może być przydatna do kontrolowania długości danych wyjściowych lub instruowania modelu, aby zatrzymał się na logicznych punktach zakończenia.

Przykład: Dla formalnego listu, możesz użyć “Z wyrazami szacunku” jako ciągu zatrzymania, aby upewnić się, że AI nie generuje żadnych dodatkowych treści poza odpowiednim zakończeniem.

4) Top P

Parametr “Top P”, znany również jako próbkowanie jądra, jest metodą, która zapewnia dynamiczny wybór liczby słów branych pod uwagę na każdym kroku przewidywań modelu. Niższa wartość, taka jak 0,5, prowadzi do bezpieczniejszych, bardziej ukierunkowanych danych wyjściowych. Wyższa wartość, taka jak 0,9, obejmuje szerszy wybór słów, prowadząc do bardziej zróżnicowanych danych wyjściowych.

Przykład: Jeśli tworzysz AI, aby pisał wiersze, i chcesz, aby używał szerokiej gamy słownictwa i stylistycznych fraz, możesz ustawić “Top P” na wyższą wartość. Sugestia mogłaby brzmieć: “Skomponuj wiersz o pięknie jesieni.”

5) Kara Częstotliwości

Kara częstotliwości kontroluje, jak bardzo model powinien faworyzować mniej częste słowa. Wyższa kara (do 1) zachęca model do używania mniej powszechnych słów, podczas gdy niższa wartość (do -1) zachęca model do używania bardziej powszechnych słów.

Przykład: Jeśli generujesz propozycję biznesową i chcesz uniknąć żargonu, możesz ustawić karę częstotliwości na niższą wartość, aby język był klarowny i dostępny.

6) Kara Obecności

Parametr kary obecności wpływa na to, jak bardzo model jest karany za generowanie nowych pomysłów lub tematów, które nie były obecne w historii rozmowy. Wyższe wartości zachęcają model do przywiązania się do tematów już wymienionych, podczas gdy niższe wartości pozwalają modelowi wprowadzać nowe pojęcia bardziej swobodnie.

Przykład: Na sesjach burz mózgu możesz ustawić karę obecności na niższą wartość, aby zachęcić do szerokiej gamy pomysłów. Sugestia mogłaby brzmieć: “Wygeneruj innowacyjne strategie marketingowe dla platformy edukacyjnej online.”

Zastosowanie przemysłowe inżynierii sugestii