Niezbędny przewodnik po szybkiej inżynierii w ChatGPT

Od momentu uruchomienia ChatGPT ChatGPT robi furorę w sferze sztucznej inteligencji, przyciągając ponad 100 milionów użytkowników w rekordowym czasie. Sekret imponującej wydajności i wszechstronności ChatGPT tkwi w sztuce subtelnie ukrytej w jego programowaniu – szybkiej inżynierii.

Wprowadzone na rynek w 2022 r. rozwiązania DALL-E, MidJourney i StableDiffusion podkreśliły przełomowy potencjał generatywnej sztucznej inteligencji. Ale to było Otwórz AIChatGPT, który naprawdę zajął centralne miejsce pod koniec 2022 r. I ta dynamika nie wykazywała oznak spowolnienia.

Zapowiedź Barda od Google oraz Lamma 2 Meta  Reakcja na ChatGPT OpenAI znacząco zwiększyła dynamikę wyścigu AI. Dostarczając tym modelom dane wejściowe, sterujemy ich zachowaniem i reakcjami. To sprawia, że ​​wszyscy jesteśmy w pewnym stopniu inżynierami szybkiego reagowania. Branża technologiczna to zauważyła. Inwestorzy venture capital inwestują w startupy koncentrujące się na szybkiej inżynierii, takie jak Welinowa sztuczna inteligencja. Co więcej, Forbes donosi, że inżynierowie skłaniają się do poleceń pensje przekraczające 300,000 tys, co wskazuje na dobrze prosperujący i wartościowy rynek pracy.

W tym artykule wyjaśnimy świat inżynierii instant w kontekście ChatGPT. Przyjrzymy się podstawowym zasadom i technikom oraz przeanalizujemy ich komercyjne zastosowania.

Najpierw zobaczmy, jak działa ChatGPT i jaką kluczową rolę odgrywa w tym procesie inżynieria komunikatów.

Mechanika stojąca za szybką inżynierią ChatGPT

Sekret sukcesu ChatGPT tkwi w jego zdolności do rozumienia i naśladowania niuansów ludzkiej konwersacji. Model jest trenowany na zróżnicowanym tekście internetowym, ale co najważniejsze, nie zna konkretnych dokumentów ani źródeł w swoim zestawie treningowym, co zapewnia przewagę generalizacji nad szczegółowością. To podejście treningowe pozwala ChatGPT generować kreatywne odpowiedzi, prowadzić złożone dialogi, a nawet wykazywać poczucie humoru. Należy jednak pamiętać, że ChatGPT tak naprawdę nie rozumie ani nie ma przekonań; generuje odpowiedzi w oparciu o wzorce poznane podczas treningu.

Zdolność ChatGPT do rozumienia języka ludzkiego i reagowania na niego w sposób zróżnicowany i uwzględniający kontekst sprawia, że ​​jest to niezwykle wszechstronne narzędzie.

Mechanika tych modeli opiera się na koncepcji „tokenów” – dyskretnych fragmentów języka, które mogą obejmować od pojedynczego znaku do całego słowa. Modele te działają z określoną liczbą tokenów naraz (4096 dla GPT-3.5-Turbo lub 8192 lub 32768 dla GPT-4), przewidując następną sekwencję prawdopodobnych tokenów. Modele przetwarzają tokeny za pomocą złożonej algebry liniowej, przewidując najbardziej prawdopodobny kolejny token.

Na przykład proste zdanie składające się z dziewięciu słów może zamienić się w dziesięć symboli. Nawet jedno złożone słowo może zamienić się w wiele tokenów, co pomaga modelowi lepiej zrozumieć i wygenerować język. Nawet języki o złożonej strukturze słów, takie jak niemiecki, są zarządzane poprzez tokenizację.

Modele GPT (Generative Pre-trained Transformer) działają poprzez generowanie jednego tokenu na raz, zaczynając od pierwszego tokena i kontynuując aż do ostatniego. Po wygenerowaniu każdego tokena model ponownie przegląda całą sekwencję i przetwarza ją ponownie, aby wygenerować kolejny token. Ten iteracyjny proces trwa aż do wygenerowania końcowego tokenu, dzięki czemu generowanie tekstu przypomina dużą pętlę for.

Ale jest pewien haczyk – jakość tych odpowiedzi w dużej mierze zależy od otrzymywanych komunikatów. Podobnie jak w przypadku prowadzenia rozmowy z człowiekiem, prowadzenie dialogu za pomocą ChatGPT wymaga pewnego poziomu umiejętności i zrozumienia. Właśnie tutaj w grę wchodzi inżynieria komunikatów.

Czym jest szybka inżynieria?

Szybka inżynieria to sztuka tworzenia precyzyjnych, skutecznych podpowiedzi/instrukcji, które poprowadzą sztuczną inteligencję (NLP/Vision), takich jak ChatGPT, w celu generowania najbardziej opłacalnych, dokładnych, użytecznych i bezpiecznych wyników.

Szybka inżynieria nie ogranicza się tylko do generowania tekstu, ale ma szerokie zastosowania w domenie AI. Jest coraz częściej stosowany w obszarach takich jak zrobotyzowane boty do automatyzacji procesów, zasoby 3D, skrypty, instrukcje robotów i inne rodzaje treści i mediów cyfrowych. Zapewnia unikalne połączenie logiki, kodowania, grafiki, a w niektórych przypadkach specjalnych modyfikatorów.

Chociaż monit może zawierać tekst w języku naturalnym, obrazy lub inne typy danych wejściowych, dane wyjściowe mogą się znacznie różnić w zależności od usług i narzędzi AI. Każde narzędzie ma swoje specjalne modyfikatory, które opisują wagę słów, stylów, perspektyw, układu lub innych właściwości pożądanej reakcji.

Ta dziedzina jest niezbędna do tworzenia lepszych usług opartych na sztucznej inteligencji i uzyskiwania doskonałych wyników dzięki istniejącym narzędziom generatywnej sztucznej inteligencji. Na przykład programiści korporacyjni często korzystają z szybkiej inżynierii, aby dostosować modele wielkojęzyczne (LLM), takie jak GPT-3, do obsługi interfejsu skierowanego do klienta chatbot lub zajmuj się zadaniami, takimi jak tworzenie umów specyficznych dla branży.

Ten iteracyjny proces szybkiego udoskonalania i pomiaru wydajności sztucznej inteligencji jest kluczowym elementem umożliwiającym modelom sztucznej inteligencji generowanie wysoce ukierunkowanych, przydatnych odpowiedzi w różnych kontekstach.

Zostań szybkim inżynierem

Zdolność modelu GPT-4 do rozumienia złożonych instrukcji i precyzyjnego rozwiązywania skomplikowanych problemów czyni go nieocenionym zasobem. Istnieją jednak różne metody dostępu do możliwości tego modelu, a ich zrozumienie może mieć kluczowe znaczenie dla roli inżyniera w optymalizacji zarówno wydajności, jak i opłacalności.

Istnieją zasadniczo dwa sposoby korzystania z modeli GPT, takich jak GPT-4. Jednym z nich jest API OpenAI, gdzie koszty są obliczane za tokeny wejściowe i wyjściowe. W tym scenariuszu koszty za 1 tys. tokenów mogą się wahać w zależności od rozmiaru kontekstu. Na przykład, w większym kontekście 32 tys. tokenów, koszt może wzrosnąć do 0.06 USD za tokeny wejściowe i 0.12 USD za tokeny wyjściowe. W związku z tym, przy obsłudze dużej liczby żądań, koszty użytkowania mogą szybko rosnąć.

Alternatywnie ChatGPT, który wykorzystuje model GPT-4, działa w modelu opartym na subskrypcji.

Kolejnym kluczowym zadaniem w inżynierii instant jest dostrajanie parametrów modelu. Proces ten polega na dostosowywaniu zmiennych, których model używa do tworzenia prognoz. Dzięki precyzyjnemu dostrojeniu tych parametrów inżynierowie instant mogą poprawić jakość i dokładność odpowiedzi modelu, czyniąc je bardziej trafnymi i pomocnymi w kontekście.

Chociaż wielu inżynierów specjalizujących się w projektach natychmiastowych ma wykształcenie techniczne, multidyscyplinarny charakter tej dziedziny sprawia, że ​​jest ona dostępna dla osób o zróżnicowanym doświadczeniu zawodowym. Coraz częściej pisarze, badacze, a nawet artyści wykorzystują swoje unikalne umiejętności, aby zwiększyć skuteczność modeli sztucznej inteligencji. Ta zmiana znajduje również odzwierciedlenie na rynku pracy, gdzie coraz więcej firm poszukuje inżynierów specjalizujących się w projektach natychmiastowych o zróżnicowanym doświadczeniu i umiejętnościach.

Szybkie projektowanie i inżynieria w ChatGPT

Szybkie projektowanie i inżynieria odgrywają kluczową rolę w optymalizacji wydajności modeli językowych i obejmują coś więcej niż tylko tworzenie pytań; wymagają głębokiego zrozumienia modelu sztucznej inteligencji oraz wysoce iteracyjnego i udoskonalonego podejścia.

Szybki projekt

Projektowanie promptów to w istocie sztuka i nauka tworzenia idealnego prompta dla danego dużego modelu językowego (LLM), takiego jak ChatGPT, w celu osiągnięcia jasno określonego celu. To połączenie:

• Zrozumienie LLM: Różne modele językowe mogą różnie reagować na ten sam monit. Co więcej, niektóre modele językowe mogą mieć unikalne słowa kluczowe lub wyzwalacze, które interpretują w określony sposób.
• Wiedza dziedzinowa: Przy projektowaniu podpowiedzi kluczowa jest wiedza specjalistyczna w danej dziedzinie. Na przykład wygenerowanie podpowiedzi w celu postawienia diagnozy medycznej wymagałoby wiedzy medycznej.
• Podejście iteracyjne i pomiar jakości: Proces tworzenia idealnego podpowiedzi często wymaga prób i błędów. Dlatego też istotna jest możliwość oceny jakości wydruku wykraczająca poza subiektywną ocenę, szczególnie w przypadku stosowania podpowiedzi na większą skalę.

Szybka inżynieria

Szybka inżynieria to rozszerzona dziedzina szybkiego projektowania, która obejmuje kilka krytycznych procesów:

• Projektowanie podpowiedzi na dużą skalę: proces ten obejmuje projektowanie meta-podpowiedzi (podpowiedzi, które generują inne podpowiedzi) i szablonów podpowiedzi, które są sparametryzowanymi podpowiedziami, które można utworzyć w czasie wykonywania.
• Projektowanie i integracja narzędzi: Podpowiedzi mogą czasami zawierać wyniki z narzędzi zewnętrznych, a płynna integracja tych narzędzi z systemem jest kluczowa.
• Przepływ pracy, planowanie i zarządzanie podpowiedziami: Wdrożenie aplikacji LLM, takiej jak chatbot, często wymaga zarządzania bibliotekami podpowiedzi, planowania i wybierania odpowiednich podpowiedzi oraz wydajnej integracji różnych narzędzi.
• Ocena i zapewnienie jakości podpowiedzi: ten aspekt obejmuje zdefiniowanie wskaźników i procesów służących do oceny podpowiedzi zarówno automatycznie, jak i przy udziale człowieka.
• Szybka optymalizacja: koszt i opóźnienie modelu AI mogą zależeć od wyboru modelu i długości podpowiedzi (liczby tokenów).

Opracowano wiele zautomatyzowanych podejść, narzędzi i ram do projektowania promptów, które pozwalają zarządzać promptami na dużą skalę. Należy jednak pamiętać, że żadne z tych narzędzi nie zastąpi dogłębnej wiedzy, osądu i doświadczenia doświadczonego inżyniera promptów.

Szybka inżynieria: techniki i najlepsze praktyki

1) Szybkie umieszczenie i opis

Umieszczenie instrukcji na początku komunikatu może znacząco wpłynąć na zrozumienie i reakcję sztucznej inteligencji. Rozważmy zadanie podsumowania tekstu w formie wypunktowania. Mniej skutecznym podejściem byłoby:

Użytkownik: Podsumuj poniższy tekst w formie wypunktowanej listy najważniejszych punktów.
{tutaj wpisz tekst}

Z drugiej strony bardziej skuteczną techniką mogłoby być:

Użytkownik: Podsumuj poniższy tekst w formie wypunktowanej listy najważniejszych punktów.
Tekst: „”
{tutaj wpisz tekst}
„” ”

Dzięki wyraźnemu oddzieleniu instrukcji od kontekstu symbolami takimi jak ### lub „” model sztucznej inteligencji może lepiej określić swoje zadanie i tekst, który musi przetworzyć, zapewniając w ten sposób dokładniejsze i trafniejsze odpowiedzi.

Po drugie, bycie konkretnym, opisowym i szczegółowym w zakresie kontekstu, oczekiwanego wyniku, długości, formatu, stylu itp. może znacząco zwiększyć precyzję reakcji sztucznej inteligencji. Załóżmy, że chcesz wygenerować krótki przegląd artykułu naukowego w angażującym, przyjaznym dla laika stylu. Niejasna instrukcja, taka jak „Podsumuj artykuł naukowy”, dałaby mniej skuteczne wyniki w porównaniu z konkretną, szczegółową podpowiedzią:

Użytkownik: Stwórz krótkie (ok. 200 słów), angażujące streszczenie poniższego artykułu naukowego. Streszczenie powinno być zrozumiałe dla osoby bez wykształcenia naukowego, a jednocześnie trafnie odzwierciedlać kluczowe ustalenia artykułu.
Papier: """
{tekst artykułu naukowego tutaj}
„” ”

2) Wzór osoby

Wzorzec Persona to strategia, która ustawia sztuczną inteligencję do działania z określonej perspektywy, na przykład roli zawodowej lub postaci fikcyjnej. Ta taktyka umożliwia modelowi dostarczenie wyników związanych z konkretnymi rolami, które osoba będzie pełnić. Można na przykład poinstruować sztuczną inteligencję, aby podczas przeglądu kodu działała jako ekspert ds. cyberbezpieczeństwa. Ten wzorzec jest szczególnie przydatny, gdy użytkownicy potrzebują pomocy, ale nie mają pewności co do dokładnych szczegółów wymaganych w wynikach.

Weźmy następujący przykład:

Użytkownik: „Przyjmij postać starszego historyka specjalizującego się w rewolucji francuskiej. Biorąc pod uwagę tę osobę, wyjaśnij najważniejsze wydarzenia i przyczyny prowadzące do upadku monarchii francuskiej.

W tym scenariuszu oczekuje się, że sztuczna inteligencja przeprowadzi dogłębną analizę rewolucji francuskiej, koncentrując się na upadku monarchii, tak jak zrobiłby to historyk.

Przedstawiamy nowe informacje

ChatGPT nie posiada wiedzy wykraczającej poza jego limit treningowy, dlatego nie może dostarczać informacji o ostatnich zdarzeniach ani aktualizacjach po zakończeniu treningu. Możesz jednak wprowadzić nowe informacje do modelu za pomocą komunikatów.

Użytkownik: „Co to jest kryptowaluta?”
ChatGPT: „Kryptowaluta to rodzaj waluty cyfrowej lub wirtualnej, która wykorzystuje kryptografię dla bezpieczeństwa. Najbardziej znaną kryptowalutą jest Bitcoin.”

Teraz, jeśli dodamy nieco więcej kontekstu do podpowiedzi, możemy uczynić wyjaśnienie jeszcze bardziej intuicyjnym:

Użytkownik: „Wyjaśnij koncepcję kryptowaluty uczniowi szkoły średniej studiującemu finanse cyfrowe”
ChatGPT: „Wyobraź sobie, że grasz w grę wideo online i możesz zarobić pieniądze, aby kupić ulepszenia lub nowe postacie. Kryptowaluta działa podobnie, ale zamiast ograniczać się do gry, możesz jej użyć do zakupu towarów i usług w świecie rzeczywistym. To jak pieniądz cyfrowy, nad którym nie ma kontroli żaden bank ani rząd”.

3) Ograniczenia rozmiaru monitu

Zrozumienie ograniczeń rozmiaru ChatGPT jest niezbędne, ponieważ bezpośrednio wpływa na ilość i rodzaj informacji, które możemy wprowadzić. Modele językowe nie są zbudowane tak, aby przetwarzać nieograniczoną liczbę danych jednocześnie. Mają nieodłączne ograniczenie rozmiaru podpowiedzi, którą możemy utworzyć i wprowadzić. To ograniczenie ma poważne konsekwencje dla projektowania i wykonywania podpowiedzi.

ChatGPT ma limit tokenów (zwykle 2048), który obejmuje zarówno monit, jak i wygenerowaną odpowiedź. Oznacza to, że długie monity mogą ograniczać długość odpowiedzi. Dlatego ważne jest, aby monity były zwięzłe, a jednocześnie zawierały istotne informacje.

W praktyce musimy działać jak redaktorzy, selektywnie wybierając najistotniejsze informacje do danego zadania. Wyobraź sobie pisanie pracy lub artykułu z limitem słów lub stron – nie możesz po prostu wrzucić przypadkowych faktów, ale starannie dobrać i uporządkować informacje istotne dla danego tematu.

Użytkownik: „Biorąc pod uwagę symboliczne ograniczenia modelu, podsumuj kluczowe wydarzenia II wojny światowej w mniej niż 1000 słowach”.

Biorąc pod uwagę ograniczenia tokenów tego modelu, polecenie to nakazuje sztucznej inteligencji przedstawienie zwięzłego, ale wyczerpującego podsumowania II wojny światowej.

Podpowiedzi do wielokrotnego użycia: w scenariuszu konwersacyjnym możesz ponownie wykorzystać podpowiedzi lub udoskonalić je w oparciu o poprzednie odpowiedzi. Zapewnia to przepływ konwersacji i utrzymuje kontekst interakcji.

4) Wzór udoskonalenia pytania

ChatGPT może również pomóc w doprecyzowaniu Twoich pytań. Na przykład, jeśli zadasz pytanie, może ono zasugerować lepiej sformułowane pytanie, aby uzyskać dokładniejsze wyniki.

Wzorzec Udoskonalania Pytań polega na tym, że LLM udoskonala pytania zadawane przez użytkownika. Jest to szczególnie przydatne, gdy użytkownicy nie są ekspertami w danej dziedzinie lub nie są pewni, jak sformułować swoje pytanie.

Przykładowy monit może wyglądać następująco:

Użytkownik: „Za każdym razem, gdy zadaję pytanie dotyczące nauki o danych, zasugeruj bardziej szczegółowe pytanie, uwzględniające specyfikę analizy statystycznej i zapytaj, czy chcę kontynuować z bardziej szczegółowym pytaniem”.

W tym przypadku od sztucznej inteligencji oczekuje się, że doprecyzuje ogólne pytania użytkownika dotyczące nauki o danych, przekształcając je w pytania bardziej szczegółowe, uwzględniające aspekty analizy statystycznej.

5) Wzorzec weryfikatora poznawczego

Wzorzec weryfikatora poznawczego dzieli złożone pytania na mniejsze, łatwe do opanowania pytania cząstkowe. Odpowiedzi na te pytania dodatkowe są następnie łączone w celu uzyskania kompleksowej odpowiedzi na pytanie główne. Podejście to jest przydatne, gdy pytania początkowe są zbyt szczegółowe lub gdy wymagana jest dodatkowa przejrzystość, aby zapewnić pełną odpowiedź.

Na przykład:

Użytkownik: „Jeśli zadam pytanie dotyczące zmiany klimatu, podziel je na trzy mniejsze pytania, które pomogą Ci udzielić dokładniejszej odpowiedzi. Połącz odpowiedzi na te pytania cząstkowe, aby uzyskać ostateczną odpowiedź.

W tym scenariuszu sztuczna inteligencja podzieli złożone pytanie dotyczące zmiany klimatu na trzy możliwe do wykonania pytania cząstkowe. Po otrzymaniu odpowiedzi na te pytania cząstkowe sztuczna inteligencja połączy je, aby zapewnić bardziej kompleksową i dokładną odpowiedź.

Ten schemat polega na generowaniu wielu pytań w celu uzyskania dokładniejszej odpowiedzi końcowej. Jest to proces weryfikacji i konsolidacji informacji w celu uzyskania solidnego wyniku końcowego.

6) Podejście polegające na podpowiedzi kilku strzałów

Podpowiedzi oparte na kilku przykładach to skuteczne podejście do uczenia modeli sztucznej inteligencji podążania za określonymi wzorcami lub wykonywania zadań. Chodzi o to, aby przed zadaniem pożądanego pytania podać modelowi kilka przykładów. Pomaga to ustalić pożądane zachowanie i ukierunkować odpowiedzi modelu.

Rozważmy scenariusz, w którym użytkownik próbuje przygotować zwięzły i przekonujący tekst marketingowy dotyczący nowego gadżetu technologicznego:

UżytkownikOto kilka przykładów tekstów marketingowych dla branży technologicznej: „Doświadcz muzyki jak nigdy dotąd dzięki naszym najnowocześniejszym słuchawkom bezprzewodowym”. „Uchwyć swój świat w oszałamiającej rozdzielczości 4K dzięki naszej ultrasmukłej kamerze sportowej”. Na podstawie tych przykładów stwórz tekst marketingowy dla naszego nowego smartwatcha z obsługą sztucznej inteligencji.

ChatGPT„Wzbogać swój styl życia dzięki naszemu smartwatchowi z obsługą AI, Twojemu towarzyszowi w dbaniu o zdrowie, łączność i produktywność”. Niezwykłą cechą uczenia się na podstawie kilku pytań jest to, że nie wymaga ono szczegółowego opisu sposobu wykonania zadania. Zamiast tego wymaga demonstracji wykonywanych czynności, co może sprawiać, że sprawdza się w wielu zastosowaniach.

Co więcej, technika ta wykracza poza proste parowanie wejścia-wyjścia. Modelu można także nauczyć, jak wykonywać etapy pośrednie, aby osiągnąć cel.

7) Podpowiadanie w łańcuchu myślowym

W swoim ostatnim artykule badawczym „Podpowiadanie w oparciu o łańcuch myśli wywołuje rozumowanie w modelach wielkojęzycznychAutorzy Jason Wei i zespół dążą do stymulacji rozumowania w ramach dużych modeli językowych. Zamiast tradycyjnych, bezpośrednich podpowiedzi, zespół posługuje się serią powiązanych ze sobą podpowiedzi, tworząc „łańcuch myśli”.

Na przykład użytkownik może być zainteresowany potencjalnym wpływem sztucznej inteligencji na rynki pracy:

Użytkownik: „Czy mógłbyś krótko wyjaśnić pojęcie sztucznej inteligencji?”

ChatGPT„Sztuczna inteligencja, czyli AI, odnosi się do zdolności maszyny do naśladowania inteligentnego zachowania człowieka. Chodzi o projektowanie maszyn, które potrafią myśleć i uczyć się jak ludzie, umożliwiając im wykonywanie zadań takich jak tłumaczenie języków, podejmowanie decyzji i rozwiązywanie problemów, między innymi”.

Użytkownik: „Jak sztuczna inteligencja wpływa na obecny rynek pracy?”

ChatGPT„Sztuczna inteligencja tworzy nowe miejsca pracy i zmienia charakter istniejących. Z jednej strony automatyzuje rutynowe zadania, co prowadzi do redukcji zatrudnienia w niektórych sektorach. Z drugiej strony, generuje zapotrzebowanie na stanowiska, które wcześniej nie istniały, takie jak specjaliści ds. etyki w dziedzinie sztucznej inteligencji, analitycy danych i inżynierowie uczenia maszynowego. Co więcej, sztuczna inteligencja może uzupełniać role ludzkie, umożliwiając im efektywniejsze i dokładniejsze wykonywanie zadań”.

Podpowiedzi w formie łańcucha myślowego podążają za ciągiem powiązanych ze sobą podpowiedzi, utrzymując „konwersację” z modelem, która kieruje go w stronę bardziej precyzyjnych i kontekstowo odpowiednich odpowiedzi.

Zrozumienie interfejsu API ChatGPT i inżynierii komunikatów z perspektywy programisty

Z perspektywy programisty lub badacza, inżynieria komunikatów jest procesem bardziej złożonym. Obejmuje ona projektowanie algorytmów i technik, które pomagają modelowi sztucznej inteligencji (AI) rozumieć komunikaty i reagować na nie skuteczniej. Może to obejmować strategie obsługi niejednoznacznych komunikatów, identyfikację kontekstu komunikatów lub łączenie komunikatów w celu stymulowania bardziej złożonych procesów myślowych w sztucznej inteligencji.

Na powyższej ilustracji użytkownik korzysta z interfejsu czatu, opartego na GPT-4. Jego dane wejściowe są wzbogacane o klarowność i spójność kontekstową przez wyspecjalizowany moduł, zanim zostaną przekazane do modelu sztucznej inteligencji (AI). Rolą tego modułu jest doprecyzowanie i udoskonalenie danych wejściowych użytkownika, aby zapewnić lepsze zrozumienie, przy jednoczesnym zachowaniu kontekstu rozmowy. Odpowiedź sztucznej inteligencji, sporządzona na podstawie doprecyzowanego komunikatu, jest zwracana użytkownikowi za pośrednictwem interfejsu czatu. Historia interakcji jest aktualizowana na bieżąco, zachowując kontekst konwersacji. Ogólnie rzecz biorąc, ten diagram ilustruje dynamiczny przepływ rozmowy między użytkownikiem a sztuczną inteligencją, możliwy dzięki technikom inżynierii komunikatów.

Interfejsy API ChatGPT Interfejs został zaprojektowany z wykorzystaniem różnych hiperparametrów, które pozwalają użytkownikom doprecyzować reakcje sztucznej inteligencji na monity, zwiększając ich efektywność i wszechstronność. Należą do nich parametry: Temperatura, Maksymalna długość i Sekwencje zatrzymania. Przyjrzyjmy się ich działaniu i możliwościom wykorzystania w różnych kontekstach.

1) Temperatura

Parametr temperatury wpływa na losowość odpowiedzi sztucznej inteligencji (AI). Wyższa temperatura, np. 1.0, sprzyja bardziej losowym wynikom, co skutkuje zróżnicowanymi, ale potencjalnie nie na temat odpowiedziami. Natomiast niższa temperatura, np. 0.2, skłania AI do wyboru bardziej deterministycznych odpowiedzi, co może być korzystne w przypadku ukierunkowanych i konkretnych wyników, ale może być mało zróżnicowane.

Przykład: Jeśli piszesz kreatywną historię i chcesz, by zawierała nieprzewidywalne, pomysłowe elementy, ustaw temperaturę na wyższą wartość. Polecenie może brzmieć: „Napisz krótką historię o kocie podróżującym w czasie”. Przy wysokiej temperaturze możesz otrzymać szaloną, fantastyczną opowieść z nieprzewidywalnymi zwrotami akcji.

2) Maksymalna długość

Ten parametr kontroluje maksymalną długość tokena w wynikach modelu, obejmującą zarówno tokeny w wiadomości wejściowej, jak i wyjściowej. Ustawienie wyższego limitu pozwala na uzyskanie bardziej rozbudowanych odpowiedzi, natomiast niższy limit sprawia, że ​​dane wyjściowe są krótkie i zwięzłe.

Przykład: krótkie odpowiedzi na ciekawostki, takie jak „Kto zdobył literacką Nagrodę Nobla w 2020 r.?” możesz ustawić maksymalną długość na niską wartość, zapewniając zwięzłą i bezpośrednią odpowiedź.

3) Sekwencje zatrzymania

Sekwencje zatrzymujące to określone ciągi tekstowe, których napotkanie przez model przestaje generować dalsze dane wyjściowe. Ta funkcja może być przydatna do kontrolowania długości wyniku lub wydawania poleceń modelowi, aby zatrzymał się w logicznych punktach końcowych.

Przykład: w przypadku listu formalnego możesz użyć słów „Z poważaniem” jako sekwencji zatrzymującej, aby mieć pewność, że sztuczna inteligencja nie wygeneruje żadnego dodatkowego tekstu poza właściwym zakończeniem listu.

4) Góra P

Parametr „Top P”, znany również jako próbkowanie jądra, to metoda zapewniająca dynamiczny wybór liczby słów branych pod uwagę na każdym etapie predykcji modelu. Niższa wartość, np. 0.5, prowadzi do bezpieczniejszych i bardziej ukierunkowanych wyników. Wyższa wartość, np. 0.9, obejmuje szerszy wybór słów, co przekłada się na bardziej zróżnicowane wyniki.

Przykład: Jeśli tworzysz sztuczną inteligencję do pisania wierszy i chcesz, aby korzystała z szerokiego wachlarza słownictwa i zwrotów stylistycznych, możesz ustawić wyższą wartość parametru „Top P”. Polecenie może brzmieć: „Napisz wiersz o pięknie jesieni”.

5) Kara za częstotliwość

Kara za częstotliwość kontroluje, w jakim stopniu model powinien faworyzować rzadsze słowa. Wyższa kara (do 1) zachęca model do używania mniej popularnych słów, podczas gdy niższa wartość (do -1) zachęca model do używania bardziej powszechnych słów.

Przykład: Jeśli próbujesz przygotować ofertę biznesową i chcesz uniknąć żargonu, możesz ustawić karę za częstotliwość na niższą wartość, aby język był jasny i przystępny.

6) Kara za obecność

Parametr Presence Penalty wpływa na to, jak bardzo model zostanie ukarany za wygenerowanie nowych pomysłów lub tematów, których nie było w historii konwersacji. Wyższe wartości zachęcają model do trzymania się tematów już poruszonych, natomiast niższe wartości pozwalają modelowi na swobodniejsze wprowadzanie nowych koncepcji.

Przykład: W przypadku sesji burzy mózgów możesz ustawić karę za obecność na niższą wartość, aby zachęcić do różnorodnego zestawu pomysłów. Możesz użyć podpowiedzi typu „Wygeneruj innowacyjne strategie marketingowe dla internetowej platformy edukacyjnej”.

Przemysłowe zastosowanie szybkiej inżynierii