Podstawowy przewodnik po inżynierii sugestii w ChatGPT

Od momentu premiery ChatGPT wywołał falę zainteresowania w sferze AI, przyciągając ponad 100 milionów użytkowników w rekordowym czasie. Sekret jego imponującej wydajności i wszechstronności leży w sztuce delikatnie osadzonej w jego programowaniu – inżynierii sugestii.

Uruchomiony w 2022 roku, DALL-E, MidJourney i StableDiffusion podkreślają potencjał rozrywkowy sztucznej inteligencji generatywnej. Jednak to ChatGPT Open AI był tym, który naprawdę zajął centralne miejsce pod koniec 2022 roku. I ten impet nie pokazał żadnych oznak spowolnienia.

Ogłoszenie przez Google o Bard oraz odpowiedź Meta na ChatGPT Open AI znacznie zwiększyły impet wyścigu AI. Dostarczając tym modelom dane wejściowe, kierujemy ich zachowaniem i odpowiedziami. To sprawia, że wszyscy stajemy się inżynierami sugestii w pewnym stopniu. Przemysł technologiczny zwrócił na to uwagę. Inwestorzy venture capital płynnie zasilają startupy zajmujące się inżynierią sugestii, takie jak Vellum AI. Co więcej, Forbes donosi, że inżynierowie sugestii zarabiają pensje przekraczające 300 000 dolarów, co wskazuje na kwitnący i cenny rynek pracy.

W tym artykule demistyfikujemy świat inżynierii sugestii w kontekście ChatGPT. Zbadamy podstawowe zasady i techniki oraz zbadamy ich zastosowania komercyjne.

Przejdźmy do zrozumienia, jak ChatGPT funkcjonuje i jak kluczową rolę odgrywa inżynieria sugestii w tym procesie.

Podstawy inżynierii sugestii ChatGPT

Sekret sukcesu ChatGPT tkwi w jego zdolności do zrozumienia i naśladowania niuansów ludzkiej konwersacji. Model jest szkolony na różnorodnym zakresie tekstów internetowych, ale co ważne, nie zna konkretnych dokumentów lub źródeł w swoim zbiorze szkoleniowym, co zapewnia uogólnienie nad szczegółowością. Ten podejście szkoleniowe pozwala ChatGPT generować kreatywne odpowiedzi, nawigować złożone dialogi i nawet wykazywać poczucie humoru. Jednak ważne jest pamiętanie, że ChatGPT nie naprawdę rozumie ani nie ma przekonań; generuje odpowiedzi na podstawie wzorców, które nauczył się podczas szkolenia.

Możliwość ChatGPT do zrozumienia i odpowiedzi na ludzki język w sposób nuansowany i świadomy kontekstu sprawia, że są niezwykle wszechstronnymi narzędziami.

Mechanika tych modeli opiera się na pojęciu “tokenów” – dyskretnych kawałków języka, które mogą sięgać od jednego znaku do całego słowa. Te modele pracują z określoną liczbą tokenów na raz (4096 dla GPT-3.5-Turbo lub 8192 lub 32768 dla GPT-4), przewidując następną sekwencję najbardziej prawdopodobnych tokenów. Modele przetwarzają tokeny za pomocą złożonej algebry liniowej, przewidując najbardziej prawdopodobny następny token.

Na przykład, proste zdanie składające się z dziewięciu słów mogłoby przekształcić się w dziesięć tokenów. Nawet jeden złożony słowo mógłby przekształcić się w wiele tokenów, co pomaga modelowi lepiej zrozumieć i generować język. Nawet języki o złożonych strukturach słów, takie jak niemiecki, są zarządzane za pomocą tokenizacji.

Modele GPT (Generative Pre-trained Transformer) działają, generując jeden token na raz, zaczynając od pierwszego tokenu i kontynuując aż do ostatniego. Po wygenerowaniu każdego tokenu model ponownie przetwarza całą sekwencję, aby wygenerować następny token. Ten proces iteracyjny kontynuuje się, aż do wygenerowania ostatniego tokenu, sprawiając, że generowanie tekstu jest podobne do dużej pętli.

Ale jest tu haczyk – jakość tych odpowiedzi w dużej mierze zależy od sugestii, które otrzymuje. Podobnie jak kierowanie rozmową z człowiekiem, kierowanie dialogiem z ChatGPT wymaga pewnego poziomu umiejętności i zrozumienia. To właśnie tu pojawia się inżynieria sugestii.

Czym jest inżynieria sugestii?

Inżynieria sugestii to sztuka tworzenia precyzyjnych, skutecznych sugestii/wejść, aby skierować modele AI (NLP/Wizja) takie jak ChatGPT do generowania najbardziej efektywnych, dokładnych, przydatnych i bezpiecznych danych wyjściowych.

Inżynieria sugestii nie jest ograniczona tylko do generacji tekstu, ale ma szerokie zastosowania w całej dziedzinie AI. Coraz częściej jest stosowana w obszarach takich jak automatyzacja procesów roboczych, aktywa 3D, skrypty, instrukcje robota i innych typów treści i multimediów. Zapewnia unikalną mieszankę logiki, kodowania, sztuki i w pewnych przypadkach specjalnych modyfikatorów.

Chociaż sugestia może zawierać tekst języka naturalnego, obrazy lub inne typy danych wejściowych, dane wyjściowe mogą się znacznie różnić w zależności od usług i narzędzi AI. Każde narzędzie ma specjalne modyfikatory, które opisują wagę słów, styl, perspektywę, układ lub inne właściwości pożądanej odpowiedzi.

Te obszary są niezbędne do tworzenia lepszych usług opartych na AI i uzyskiwania lepszych wyników z istniejących generatywnych narzędzi AI. Na przykład developerzy przedsiębiorstw często wykorzystują inżynierię sugestii, aby dostosować duże modele językowe (LLM) takie jak GPT-3 do obsługi chatbota skierowanego do klienta lub do zadań takich jak tworzenie umów branżowych.

Ten proces iteracyjny uściślania sugestii i pomiaru wydajności AI jest kluczowym elementem umożliwiającym modelom AI generowanie wysoko ukierunkowanych, przydatnych odpowiedzi w różnych kontekstach.

Stając się inżynierem sugestii

Model GPT-4 ma ogromne możliwości zrozumienia złożonych instrukcji i rozwiązywania skomplikowanych problemów. Jednak istnieją różne sposoby dostępu do tych możliwości, a zrozumienie ich jest kluczowe dla roli inżyniera sugestii w optymalizacji zarówno wydajności, jak i efektywności kosztowej.

Istnieją podstawowo dwa sposoby korzystania z modeli GPT, takich jak GPT-4. Jednym ze sposobów jest korzystanie z API OpenAI, gdzie koszty są liczone na podstawie tokenów wejściowych i wyjściowych. W tym scenariuszu koszty na 1K tokenów mogą się zmieniać w zależności od rozmiaru kontekstu. Na przykład w większym kontekście 32K koszt mógłby wzrosnąć do 0,06 dolarów za tokeny wejściowe i 0,12 dolarów za tokeny wyjściowe. Zatem, przy dużej liczbie żądań, koszt użytkowania może szybko się kumulować.

Alternatywnie, ChatGPT, który wykorzystuje model GPT-4, działa na podstawie modelu subskrypcyjnego.

Innym kluczowym zadaniem w inżynierii sugestii jest dostosowanie parametrów modelu. Proces ten obejmuje dostosowanie zmiennych, które model wykorzystuje do dokonywania przewidywań. Poprzez dostosowanie tych parametrów, inżynierowie sugestii mogą poprawić jakość i dokładność odpowiedzi modelu, sprawiając, że stają się one bardziej istotne i przydatne.

Chociaż wielu inżynierów sugestii pochodzi z tła technicznego, wielodyscyplinarna natura tego pola sprawia, że jest ono dostępne dla osób z różnych profesjonalnych środowisk. Coraz częściej pisarze, badacze i nawet artyści wykorzystują swoje unikalne umiejętności, aby poprawić skuteczność modeli AI. Ten trend jest odzwierciedlony na rynku pracy, gdzie rośnie liczba firm poszukujących inżynierów sugestii o różnorodnych umiejętnościach i tłach.

Projektowanie i inżynieria sugestii w ChatGPT

Projektowanie i inżynieria sugestii odgrywają kluczową rolę w optymalizacji wydajności modeli językowych i wymagają więcej niż tylko tworzenia pytań; wymagają głębokiego zrozumienia modelu AI i wysoko uściślonego podejścia.

Projektowanie sugestii

Projektowanie sugestii jest sztuką i nauką tworzenia idealnej sugestii dla dużego modelu językowego (LLM) takiego jak ChatGPT, aby osiągnąć wyraźnie określony cel. Jest to połączenie:

• Zrozumienia LLM: Różne modele językowe mogą odpowiadać inaczej na tę samą sugestię. Ponadto, niektóre modele językowe mogą mieć unikalne słowa kluczowe lub wyzwalacze, które interpretują w określony sposób.
• Wiedzy branżowej: Ekspertyza w odpowiedniej dziedzinie jest kluczowa przy projektowaniu sugestii. Na przykład, generowanie sugestii do wnioskowania o diagnozie medycznej wymagałoby wiedzy medycznej.
• Podejścia iteracyjnego i pomiaru jakości: Proces tworzenia idealnej sugestii często wymaga prób i błędów. Dlatego ważne jest posiadanie sposobu oceny jakości danych wyjściowych poza subiektywną oceną, szczególnie podczas korzystania z sugestii w większej skali.

Inżynieria sugestii

Inżynieria sugestii jest rozszerzonym obszarem projektowania sugestii, który obejmuje kilka krytycznych procesów:

• Projektowanie sugestii w skali: Proces ten obejmuje projektowanie meta-sugestii (sugestii, które generują inne sugestie) i szablonów sugestii, które są parametryzowanymi sugestiami, które mogą być zainicjowane w czasie wykonywania.
• Projektowanie narzędzi i integracja: Sugestie mogą czasem zawierać wyniki z zewnętrznych narzędzi, a ich płynna integracja z systemem jest kluczowa.
• Praca, planowanie i zarządzanie sugestiami: Wdrożenie aplikacji LLM, takiej jak chatbot, często wymaga zarządzania bibliotekami sugestii, planowania i wyboru odpowiednich sugestii oraz efektywnej integracji różnych narzędzi.
• Ocena i zapewnienie jakości sugestii: Aspekt ten obejmuje definiowanie metryk i procesów do oceny sugestii zarówno automatycznie, jak i z udziałem ludzi.
• Optymalizacja sugestii: Koszt i opóźnienie modelu AI mogą zależeć od wyboru modelu i długości sugestii (liczby tokenów).

Wiele zautomatyzowanych podejść do projektowania sugestii, narzędzi i ram zostało opracowanych w celu zarządzania sugestiami w skali. Jednak ważne jest zrozumienie, że żadne z tych narzędzi nie może zastąpić subtelności, osądu i doświadczenia doświadczonego inżyniera sugestii.

Inżynieria sugestii: Techniki i najlepsze praktyki

1) Umieszczanie sugestii i opisu

Umieszczanie instrukcji na początku sugestii może znacznie wpłynąć na zrozumienie AI i odpowiedź. Rozważmy zadanie podsumowania tekstu w formacie listy punktów. Mniej skuteczne podejście byłoby:

Użytykownik: Podsumuj poniższy tekst jako listę punktów najważniejszych punktów.
{tekst wejściowy tutaj}

Natomiast bardziej skuteczna technika mogłaby być:

Użytykownik: Podsumuj poniższy tekst jako listę punktów najważniejszych punktów.
Tekst: “””
{tekst wejściowy tutaj}
“””

Poprzez wyraźne oddzielenie instrukcji i kontekstu za pomocą symboli takich jak ### lub “”, model AI może lepiej określić swoje zadanie i tekst, który musi przetworzyć, co prowadzi do bardziej dokładnych i istotnych odpowiedzi.

Ponadto, bycie konkretnym, opisowym i szczegółowym dotyczącym kontekstu, oczekiwanego wyniku, długości, formatu, stylu itd. może znacznie poprawić precyzję odpowiedzi AI. Załóżmy, że musimy wygenerować krótkie podsumowanie pracy naukowej w przystępnej, przyjaznej dla laika formie. Mglista instrukcja “Podsumuj pracę naukową” dałaby mniej skuteczne wyniki w porównaniu z konkretną, szczegółową sugestią:

Użytykownik: Wygeneruj krótkie (około 200 słów) podsumowanie poniższej pracy naukowej. Podsumowanie powinno być zrozumiałe dla kogoś bez wykształcenia naukowego, a jednocześnie dokładnie odzwierciedlać kluczowe ustalenia pracy.
Praca: “””
{tekst pracy naukowej tutaj}
“””

2) Wzorzec persony

Wzorzec persony jest strategią, która ustawia AI do działania z określonej perspektywy, takiej jak rola zawodowa lub fikcyjna postać. Ta taktyka pozwala modelowi dostarczać dane wyjściowe związane z rolami, które osoba ta obsługuje. Na przykład, można poinstruować AI, aby działał jako ekspert ds. cyberbezpieczeństwa podczas przeglądu kodu. Ten wzorzec jest szczególnie przydatny, gdy użytkownicy potrzebują pomocy, ale nie są pewni szczegółów wymaganych w danych wyjściowych.

Weźmy na przykład:

Użytykownik: “Przyjmij postawę starszego historyka specjalizującego się w rewolucji francuskiej. Z tej perspektywy wyjaśnij kluczowe wydarzenia i powody, które doprowadziły do upadku monarchii francuskiej.”

W tym scenariuszu AI ma odpowiedzieć z głęboką analizą rewolucji francuskiej, skupiając się na upadku monarchii, tak jak historyk.

Wprowadzanie nowych informacji

ChatGPT nie posiada wiedzy poza swoim okresem szkoleniowym, więc nie może dostarczyć informacji o niedawnych wydarzeniach lub aktualizacjach po jego szkoleniu. Jednak można wprowadzić nowe informacje do modelu za pomocą sugestii.

Użytykownik: “Co to jest kryptowaluta?”
ChatGPT: “Kryptowaluta to rodzaj cyfrowej lub wirtualnej waluty, która wykorzystuje kryptografię do zabezpieczeń. Najbardziej znaną kryptowalutą jest Bitcoin.”

Teraz, jeśli dodamy trochę więcej kontekstu do sugestii, możemy uczynić wyjaśnienie jeszcze bardziej intuicyjnym:

Użytykownik: “Wyjaśnij pojęcie kryptowaluty uczniowi szkoły średniej studiującemu finanse cyfrowe”
ChatGPT: “Wyobraź sobie, że grasz w grę online i masz pieniądze gry, które możesz zarobić, aby kupić ulepszenia lub nowe postacie. Kryptowaluta jest trochę jak to, ale zamiast być ograniczona do gry, możesz ją używać do kupowania rzeczywistych dóbr i usług. Jest to cyfrowe pieniądze, których nie kontroluje żaden bank ani rząd.”

3) Ograniczenia rozmiaru sugestii

Zrozumienie ograniczeń rozmiaru ChatGPT jest niezbędne, ponieważ ma to bezpośredni wpływ na ilość i rodzaj informacji, które możemy wprowadzić. Modele językowe nie są zaprojektowane do przetwarzania nieograniczonej ilości danych na raz. Mają wewnętrzne ograniczenia dotyczące rozmiaru sugestii, którą możemy utworzyć i wprowadzić. To ograniczenie ma głęboki wpływ na projektowanie i wykonanie sugestii.

ChatGPT ma ograniczenie tokenów (zwykle 2048 tokenów), które obejmuje zarówno sugestię, jak i wygenerowaną odpowiedź. Oznacza to, że długie sugestie mogą ograniczyć długość odpowiedzi. Dlatego ważne jest, aby sugestie były concyse, a jednocześnie informacyjne.

W praktyce musimy działać jak redaktorzy, wybierając najbardziej istotne informacje do zadania. Wyobraź sobie pisanie artykułu lub pracy z limitem słów lub stron – nie możesz po prostu wylać losowe fakty, ale musisz starannie wybrać i zorganizować informacje istotne dla tematu.

Użytykownik: “Biorąc pod uwagę ograniczenia tokenów modelu, podsumuj kluczowe wydarzenia II wojny światowej w mniej niż 1000 słów.”

Poprzez uznanie ograniczeń tokenów modelu, ta sugestia kieruje AI do dostarczenia zwięzłego, a jednocześnie kompletnego podsumowania II wojny światowej.

Sugestie do wielokrotnego użycia: W scenariuszu konwersacyjnym można wielokrotnie używać sugestii lub je uściślać na podstawie poprzednich odpowiedzi. To daje płynny przepływ konwersacji i utrzymuje kontekst w interakcji.

4) Wzorzec uściślenia pytania

ChatGPT może również pomóc uściślić Twoje pytania. Na przykład, jeśli zadasz pytanie, może ono zasugerować lepiej sformułowane pytanie dla bardziej precyzyjnych wyników.

Wzorzec uściślenia pytania obejmuje uściślenie pytań zadawanych przez użytkownika. Jest to szczególnie przydatne, gdy użytkownicy nie są ekspertami w danej dziedzinie lub nie są pewni, jak sformułować pytanie.

Przykładowa sugestia może wyglądać następująco:

Użytykownik: “Kiedykolwiek pytam o dane naukowe, zasugeruj bardziej uściślone pytanie, biorąc pod uwagę szczegóły analizy statystycznej i zapytaj, czy chcę kontynuować z uściślonym pytaniem.”

Tutaj AI ma uściślić ogólne pytania dotyczące danych naukowych do bardziej szczegółowych pytań, biorąc pod uwagę aspekty analizy statystycznej.

5) Wzorzec weryfikacji poznawczej

Wzorzec weryfikacji poznawczej rozkłada złożone pytania na mniejsze, zarządzalne pytania podrzędne. Odpowiedzi na te pytania podrzędne są następnie łączone, aby dostarczyć kompleksową odpowiedź na główne pytanie. Podejście to jest przydatne, gdy początkowe pytania są zbyt ogólne lub gdy wymagana jest dodatkowa klarowność, aby dostarczyć kompletną odpowiedź.

Na przykład:

Użytykownik: “Jeśli zadam pytanie o zmianę klimatu, rozłóż je na trzy mniejsze pytania, które pomogą mi dostarczyć bardziej precyzyjną odpowiedź. Połącz odpowiedzi na te pytania podrzędne, aby dostarczyć ostateczną odpowiedź.”

W tym scenariuszu AI rozkłada złożone pytanie o zmianę klimatu na trzy zarządzalne pytania podrzędne. Po otrzymaniu odpowiedzi na te pytania podrzędne, AI łączy je, aby dostarczyć bardziej kompleksową i precyzyjną odpowiedź.

Ten wzorzec obejmuje generowanie wielu pytań, aby uzyskać bardziej precyzyjną ostateczną odpowiedź. Jest to proces weryfikacji i konsolidacji informacji w celu uzyskania solidnej ostatecznej odpowiedzi.

6) Podejście few-shot

Few-shot to potężne podejście do nauczania modeli AI, aby śledowały określone wzorce lub wykonywały zadania. Idea polega na zasilaniu modelu przykładami przed zadaniem pożądanego pytania. To pomaga ukształtować pożądane zachowanie i skierować odpowiedzi modelu.

Rozważmy scenariusz, w którym użytkownik próbuje napisać przyciągający marketingowy tekst dla nowego gadżetu technologicznego:

Użytykownik: “Oto przykłady marketingowych tekstów dla produktów technologicznych: ‘Doświadcz muzyki jak nigdy wcześniej z naszymi przodującymi na rynku słuchawkami bezprzewodowymi.’ ‘Zapisz swój świat w oszałamiającym 4K z naszą ultra-szczupłą kamerą akcji.’ Używając tych przykładów, napisz marketingowy tekst dla naszego nowego zegarka z AI.”

ChatGPT: “Wzmocnij swój styl życia z naszym zegarkiem z AI, twoim towarzyszem dla zdrowia, łączności i produktywności.” Niezwykłą cechą few-shot jest to, że nie wymaga szczegółowego opisu, jak wykonać zadanie. Zamiast tego wymaga demonstracji tego, co się robi, co może sprawić, że jest to dobrym dopasowaniem do wielu zastosowań.

Ponadto, ta technika rozciąga się poza proste pary wejścia-wyjścia. Model może również być nauczony do obsługi pośrednich kroków w celu osiągnięcia celu.

7) Podejście łańcucha myśli

W swoim niedawnym artykule badawczym “Podejście łańcucha myśli wywołuje rozumowanie w dużych modelach językowych” autorzy Jason Wei i zespół starają się stymulować rozumowanie w dużych modelach językowych. Zamiast korzystania z tradycyjnych, bezpośrednich sugestii, zespół wykorzystuje serię połączonych sugestii, tworząc “łańcuch myśli”.

Na przykład, użytkownik może być zainteresowany potencjalnym wpływem sztucznej inteligencji na rynki pracy:

Użytykownik: “Czy mógłbyś krótko wyjaśnić pojęcie sztucznej inteligencji?”

ChatGPT: “Sztuczna inteligencja, czyli AI, odnosi się do zdolności maszyny do naśladowania inteligentnego ludzkiego zachowania. Jest to o projektowaniu maszyn, które mogą myśleć i uczyć się jak ludzie, umożliwiając im wykonywanie zadań takich jak tłumaczenie języka, podejmowanie decyzji i rozwiązywanie problemów, wśród innych.”

Użytykownik: “Jak sztuczna inteligencja wpływa na obecny rynek pracy?”

ChatGPT: “Sztuczna inteligencja tworzy nowe miejsca pracy i zmienia naturę istniejących. Z jednej strony, automatyzuje rutynowe zadania, prowadząc do utraty miejsc pracy w pewnych sektorach. Z drugiej strony, tworzy popyt na role, które wcześniej nie istniały, takie jak oficerzy etyki AI, analitycy danych i inżynierowie uczenia maszynowego. Dodatkowo, sztuczna inteligencja może uzupełniać role ludzkie, pozwalając ludziom wykonywać zadania bardziej efektywnie i dokładnie.”

Podejście łańcucha myśli obejmuje serię połączonych sugestii, utrzymując “rozmowę” z modelem, który prowadzi go do bardziej precyzyjnych i kontekstowo odpowiednich odpowiedzi.

Zrozumienie API ChatGPT i inżynierii sugestii z perspektywy dewelopera

Z perspektywy dewelopera lub badacza inżynieria sugestii jest bardziej złożonym procesem. Obejmuje projektowanie algorytmów i technik, aby pomóc modelowi AI lepiej zrozumieć i odpowiedzieć na sugestie. Może to obejmować strategie dla radzenia sobie z niejasnymi sugestiami, identyfikacją kontekstu sugestii lub łączeniem sugestii, aby stymulować bardziej złożone procesy myślowe w AI.

Na powyższym diagramie użytkownik interakcji z interfejsem czatu, napędzanym przez GPT-4. Jego dane wejściowe są ulepszane o wyrazistość i spójność kontekstu przez specjalny moduł przed wprowadzeniem do modelu AI. Rola tego modułu polega na ulepszaniu i uściślaniu danych wejściowych użytkownika, aby lepiej zrozumieć, oraz utrzymywaniu kontekstu rozmowy. Odpowiedź AI, opracowana na podstawie ulepszonej sugestii, jest zwracana użytkownikowi przez interfejs czatu. Historia interakcji jest aktualizowana w sposób ciągły, utrzymując kontekst rozmowy. Ogólnie, ten diagram ilustruje dynamiczny przepływ rozmowy między użytkownikiem a AI, umożliwiony przez techniki inżynierii sugestii.

Interfejs API ChatGPT został zaprojektowany z różnymi hiperparametrami, które pozwalają użytkownikom uściślić odpowiedzi AI na sugestie, czyniąc je bardziej efektywnymi i wszechstronnymi. Obejmują one parametry Temperatury, Maksymalnej Długości, Ciągów zatrzymania, Top P, Kary Częstotliwości i Kary Obecności. Rozważmy, jak działają i jak mogą być wykorzystane w różnych kontekstach.

1) Temperatura

Parametr temperatury wpływa na losowość odpowiedzi AI. Wyższa temperatura, taka jak 1,0, zachęca do bardziej losowych danych wyjściowych, prowadząc do zróżnicowanych, ale potencjalnie nieodpowiednich odpowiedzi. Z drugiej strony, niższa temperatura, taka jak 0,2, skłania AI do wyboru bardziej deterministycznych odpowiedzi, które są korzystne dla skupionych i konkretnych danych wyjściowych, ale mogą brakować różnorodności.

Przykład: Jeśli piszesz kreatywną historię i chcesz nieprzewidywalne, wyobrażeniowe elementy, ustaw temperaturę na wyższą wartość. Sugestia mogłaby brzmieć: “Napisz krótką historię o podróżującym w czasie kocie.” Z wysoką temperaturą, możesz otrzymać dziką, fantastyczną opowieść z nieprzewidywalnymi skrętami i zwrotami.

2) Maksymalna Długość

Ten parametr kontroluje maksymalną długość tokenu danych wyjściowych modelu, która obejmuje zarówno tokeny w danych wejściowych, jak i dane wyjściowe. Ustawienie wyższego limitu pozwala na dłuższe odpowiedzi, podczas gdy niższy limit utrzymuje dane wyjściowe krótkie i zwięzłe.

Przykład: Dla krótkich odpowiedzi na pytania, takie jak “Kto wygrał Nagrodę Nobla w dziedzinie literatury w 2020 roku?”, możesz ustawić maksymalną długość na niską wartość, aby odpowiedź była zwięzła i bezpośrednia.

3) Ciągi zatrzymania

Ciągi zatrzymania to określone ciągi tekstowe, po napotkaniu których model przestaje generować dalsze dane wyjściowe. Ta funkcja może być przydatna do kontrolowania długości danych wyjściowych lub instruowania modelu, aby zatrzymał się na logicznych punktach końcowych.

Przykład: Dla formalnego listu możesz użyć “Serdecznie” jako ciągu zatrzymania, aby upewnić się, że AI nie wygeneruje żadnych dodatkowych treści po prawidłowym zakończeniu listu.

4) Top P

Parametr “Top P”, znany również jako próbkowanie jądra, jest metodą, która dynamicznie wybiera liczbę słów branych pod uwagę przy każdym kroku przewidywań modelu. Niższa wartość, taka jak 0,5, prowadzi do bezpieczniejszych, bardziej ukierunkowanych danych wyjściowych. Wyższa wartość, taka jak 0,9, obejmuje szerszy wybór słów, prowadząc do bardziej zróżnicowanych danych wyjściowych.

Przykład: Jeśli tworzysz AI do pisania wierszy i chcesz, aby używał szerokiej gamy słownictwa i stylowych fraz, możesz ustawić “Top P” na wyższą wartość. Sugestia mogłaby brzmieć: “Skomponuj wiersz o pięknie jesieni.”

5) Kary Częstotliwości

Kary Częstotliwości kontrolują, jak bardzo model powinien faworyzować mniej częste słowa. Wyższa kara (do 1) zachęca model do używania mniej powszechnych słów, podczas gdy niższa wartość (do -1) zachęca do używania bardziej powszechnych słów.

Przykład: Jeśli próbujesz wygenerować propozycję biznesową i chcesz uniknąć żargonu, możesz ustawić karę częstotliwości na niższą wartość, aby język był klarowny i dostępny.

6) Kary Obecności

Parametr Kary Obecności wpływa na to, jak bardzo model powinien być karany za generowanie nowych pomysłów lub tematów, które nie były obecne w historii konwersacji. Wyższe wartości zachęcają model do trzymania się tematów już wymienionych, podczas gdy niższe wartości pozwalają modelowi wprowadzać nowe pojęcia bardziej swobodnie.

Przykład: Dla sesji brainstormingowych możesz ustawić karę obecności na niższą wartość, aby zachęcić do szerokiej gamy pomysłów. Sugestia mogłaby brzmieć: “Wygeneruj innowacyjne strategie marketingowe dla platformy edukacyjnej online.”

Przemysłowe zastosowanie inżynierii sugestii