Niezbędny przewodnik po szybkiej inżynierii w ChatGPT

Od momentu uruchomienia ChatGPT robi furorę w sferze sztucznej inteligencji, przyciągając w rekordowym czasie ponad 100 milionów użytkowników. Sekret imponującej wydajności i wszechstronności ChatGPT leży w sztuce subtelnie osadzonej w jego programowaniu – szybkiej inżynierii.

Wprowadzone na rynek w 2022 r. rozwiązania DALL-E, MidJourney i StableDiffusion podkreśliły przełomowy potencjał generatywnej sztucznej inteligencji. Ale to było Otwórz AIChatGPT, który naprawdę zajął centralne miejsce pod koniec 2022 r. I ta dynamika nie wykazywała oznak spowolnienia.

Ogłoszenie Google dotyczące Barda i Lama Meta 2  odpowiedź na ChatGPT OpenAI znacznie zwiększyła dynamikę wyścigu AI. Dostarczając tym modelom dane wejściowe, kierujemy ich zachowaniem i reakcjami. To sprawia, że ​​wszyscy jesteśmy w pewnym stopniu szybkimi inżynierami. Branża technologiczna to zauważyła. Inwestorzy kapitału wysokiego ryzyka przeznaczają fundusze na start-upy skupiające się na szybkiej inżynierii, np Welinowa sztuczna inteligencja. Co więcej, Forbes donosi, że inżynierowie skłaniają się do poleceń pensje przekraczające 300,000 tys, co wskazuje na dobrze prosperujący i wartościowy rynek pracy.

W tym artykule odkryjemy tajemnicę świata szybkiej inżynierii w kontekście ChatGPT. Zbadamy podstawowe zasady i techniki oraz sprawdzimy ich komercyjne zastosowania.

Najpierw zrozummy, jak działa ChatGPT i kluczową rolę, jaką odgrywa w tym procesie szybka inżynieria.

Mechanika stojąca za szybką inżynierią ChatGPT

Sekretem sukcesu ChatGPT jest jego zdolność do rozumienia i naśladowania niuansów ludzkiej rozmowy. Model jest szkolony na zróżnicowanym zakresie tekstów internetowych, ale co najważniejsze, w swoim zestawie treningowym nie zna konkretnych dokumentów ani źródeł, co zapewnia uogólnienie nad szczegółami. To podejście szkoleniowe pozwala ChatGPT generować kreatywne odpowiedzi, poruszać się w złożonych dialogach, a nawet wykazywać poczucie humoru. Należy jednak pamiętać, że ChatGPT tak naprawdę nie rozumie ani nie ma przekonań; generuje odpowiedzi w oparciu o wzorce, których nauczył się podczas szkolenia.

Zdolność ChatGPT do rozumienia ludzkiego języka i reagowania na niego w sposób zróżnicowany i uwzględniający kontekst sprawia, że ​​są to niezwykle wszechstronne narzędzia.

Mechanika tych modeli opiera się na koncepcji „tokenów” — odrębnych fragmentów języka, które mogą obejmować od pojedynczego znaku do całego słowa. Modele te działają jednocześnie z określoną liczbą tokenów (4096 dla GPT-3.5-Turbo lub 8192 lub 32768 dla GPT-4), przewidując następną sekwencję prawdopodobnych tokenów. Modele przetwarzają tokeny za pomocą złożonej algebry liniowej, przewidując najbardziej prawdopodobny kolejny token.

Na przykład proste zdanie składające się z dziewięciu słów może zamienić się w dziesięć symboli. Nawet jedno złożone słowo może zamienić się w wiele tokenów, co pomaga modelowi lepiej zrozumieć i wygenerować język. Nawet języki o złożonej strukturze słów, takie jak niemiecki, są zarządzane poprzez tokenizację.

Modele GPT (Generative Pre-trained Transformer) działają poprzez generowanie jednego tokenu na raz, zaczynając od pierwszego tokena i kontynuując aż do ostatniego. Po wygenerowaniu każdego tokena model ponownie przegląda całą sekwencję i przetwarza ją ponownie, aby wygenerować kolejny token. Ten iteracyjny proces trwa aż do wygenerowania końcowego tokenu, dzięki czemu generowanie tekstu przypomina dużą pętlę for.

Ale tu jest haczyk – jakość tych odpowiedzi w dużej mierze zależy od otrzymywanych podpowiedzi. Podobnie jak kierowanie rozmową z człowiekiem, prowadzenie dialogu za pomocą ChatGPT wymaga pewnego poziomu umiejętności i zrozumienia. W tym miejscu w grę wchodzi szybka inżynieria.

Czym jest szybka inżynieria?

Szybka inżynieria to sztuka tworzenia precyzyjnych, skutecznych podpowiedzi/instrukcji, które poprowadzą sztuczną inteligencję (NLP/Vision), takich jak ChatGPT, w celu generowania najbardziej opłacalnych, dokładnych, użytecznych i bezpiecznych wyników.

Szybka inżynieria nie ogranicza się tylko do generowania tekstu, ale ma szerokie zastosowania w domenie AI. Jest coraz częściej stosowany w obszarach takich jak zrobotyzowane boty do automatyzacji procesów, zasoby 3D, skrypty, instrukcje robotów i inne rodzaje treści i mediów cyfrowych. Zapewnia unikalne połączenie logiki, kodowania, grafiki, a w niektórych przypadkach specjalnych modyfikatorów.

Chociaż monit może zawierać tekst w języku naturalnym, obrazy lub inne typy danych wejściowych, dane wyjściowe mogą się znacznie różnić w zależności od usług i narzędzi AI. Każde narzędzie ma swoje specjalne modyfikatory, które opisują wagę słów, stylów, perspektyw, układu lub innych właściwości pożądanej reakcji.

Ta dziedzina jest niezbędna do tworzenia lepszych usług opartych na sztucznej inteligencji i uzyskiwania doskonałych wyników dzięki istniejącym narzędziom generatywnej sztucznej inteligencji. Na przykład programiści korporacyjni często korzystają z szybkiej inżynierii, aby dostosować modele wielkojęzyczne (LLM), takie jak GPT-3, do obsługi interfejsu skierowanego do klienta chatbot lub zajmuj się zadaniami, takimi jak tworzenie umów specyficznych dla branży.

Ten iteracyjny proces szybkiego udoskonalania i pomiaru wydajności sztucznej inteligencji jest kluczowym elementem umożliwiającym modelom sztucznej inteligencji generowanie wysoce ukierunkowanych, przydatnych odpowiedzi w różnych kontekstach.

Zostań szybkim inżynierem

Umiejętność modelu GPT-4 w rozumieniu złożonych instrukcji i dokładnym rozwiązywaniu skomplikowanych problemów sprawia, że ​​jest to nieoceniony zasób. Istnieją jednak różne metody dostępu do możliwości tego modelu, a ich zrozumienie może mieć kluczowe znaczenie dla roli szybkiego inżyniera w optymalizacji zarówno wydajności, jak i opłacalności.

Zasadniczo istnieją dwa sposoby korzystania z modeli GPT, takich jak GPT-4. Jednym ze sposobów jest użycie interfejsu API OpenAI, w którym koszty są obliczane na podstawie tokenów wejściowych i wyjściowych. W tym scenariuszu koszty za 1 tys. tokenów mogą się zmieniać w zależności od rozmiaru kontekstu. Na przykład w większym kontekście 32 tys. koszt może wzrosnąć do 0.06 USD w przypadku tokenów wejściowych i 0.12 USD w przypadku tokenów wyjściowych. Dlatego w przypadku obsługi dużej liczby żądań koszty użytkowania mogą szybko się kumulować.

Alternatywnie ChatGPT, który wykorzystuje model GPT-4, działa w modelu opartym na subskrypcji.

Kolejnym kluczowym zadaniem w szybkiej inżynierii jest dostrajanie parametrów modelu. Proces ten polega na dostosowaniu zmiennych używanych przez model do tworzenia prognoz. Dostosowując te parametry, inżynierowie szybkiej interwencji mogą poprawić jakość i dokładność odpowiedzi modelu, czyniąc je bardziej odpowiednimi kontekstowo i pomocnymi.

Chociaż wielu szybkich inżynierów ma wykształcenie techniczne, multidyscyplinarny charakter tej dziedziny sprawia, że ​​jest ona dostępna dla osób z różnych środowisk zawodowych. Coraz częściej pisarze, badacze, a nawet artyści wykorzystują swoje unikalne umiejętności, aby zwiększyć skuteczność modeli sztucznej inteligencji. Ta zmiana znajduje odzwierciedlenie również na rynku pracy, gdzie rośnie liczba firm poszukujących szybkich inżynierów o zróżnicowanym zakresie umiejętności i wykształcenia.

Szybkie projektowanie i inżynieria w ChatGPT

Szybkie projektowanie i inżynieria odgrywają kluczową rolę w optymalizacji wydajności modeli językowych i obejmują coś więcej niż tylko tworzenie pytań; wymagają głębokiego zrozumienia modelu sztucznej inteligencji oraz wysoce iteracyjnego i udoskonalonego podejścia.

Szybki projekt

U podstaw szybkiego projektowania leży sztuka i nauka tworzenia idealnego podpowiedzi dla danego dużego modelu językowego (LLM), takiego jak ChatGPT, w celu osiągnięcia jasno określonego celu. To mieszanka:

• Zrozumienie LLM: Różne modele językowe mogą różnie reagować na ten sam monit. Co więcej, niektóre modele językowe mogą mieć unikalne słowa kluczowe lub wyzwalacze, które interpretują w określony sposób.
• Wiedza dziedzinowa: Przy projektowaniu podpowiedzi kluczowa jest wiedza specjalistyczna w danej dziedzinie. Na przykład wygenerowanie podpowiedzi w celu postawienia diagnozy medycznej wymagałoby wiedzy medycznej.
• Podejście iteracyjne i pomiar jakości: Proces tworzenia idealnego podpowiedzi często wymaga prób i błędów. Dlatego też istotna jest możliwość oceny jakości wydruku wykraczająca poza subiektywną ocenę, szczególnie w przypadku stosowania podpowiedzi na większą skalę.

Szybka inżynieria

Szybka inżynieria to rozszerzona dziedzina szybkiego projektowania, która obejmuje kilka krytycznych procesów:

• Projektowanie podpowiedzi na dużą skalę: proces ten obejmuje projektowanie meta-podpowiedzi (podpowiedzi, które generują inne podpowiedzi) i szablonów podpowiedzi, które są sparametryzowanymi podpowiedziami, które można utworzyć w czasie wykonywania.
• Projektowanie i integracja narzędzi: Podpowiedzi mogą czasami zawierać wyniki z narzędzi zewnętrznych, a płynna integracja tych narzędzi z systemem jest kluczowa.
• Przepływ pracy, planowanie i zarządzanie podpowiedziami: Wdrożenie aplikacji LLM, takiej jak chatbot, często wymaga zarządzania bibliotekami podpowiedzi, planowania i wybierania odpowiednich podpowiedzi oraz wydajnej integracji różnych narzędzi.
• Ocena i zapewnienie jakości podpowiedzi: ten aspekt obejmuje zdefiniowanie wskaźników i procesów służących do oceny podpowiedzi zarówno automatycznie, jak i przy udziale człowieka.
• Szybka optymalizacja: koszt i opóźnienie modelu AI mogą zależeć od wyboru modelu i długości podpowiedzi (liczby tokenów).

Opracowano wiele zautomatyzowanych podejść, narzędzi i struktur do projektowania podpowiedzi w celu zarządzania podpowiedziami na dużą skalę. Jednakże ważne jest, aby zrozumieć, że żadne z tych narzędzi nie zastąpi szczegółowego zrozumienia, oceny i doświadczenia doświadczonego, szybkiego inżyniera.

Szybka inżynieria: techniki i najlepsze praktyki

1) Szybkie umieszczenie i opis

Umieszczenie instrukcji na początku podpowiedzi może znacząco wpłynąć na zrozumienie i reakcję sztucznej inteligencji. Rozważ zadanie podsumowania tekstu w formie wypunktowania. Mniej skutecznym podejściem byłoby:

Użytkownik: Podsumuj poniższy tekst w formie wypunktowanej listy najważniejszych punktów.
{tutaj wpisz tekst}

Z drugiej strony bardziej skuteczną techniką mogłoby być:

Użytkownik: Podsumuj poniższy tekst w formie wypunktowanej listy najważniejszych punktów.
Tekst: „”
{tutaj wpisz tekst}
„” ”

Dzięki wyraźnemu oddzieleniu instrukcji od kontekstu symbolami takimi jak ### lub „” model sztucznej inteligencji może lepiej określić swoje zadanie i tekst, który musi przetworzyć, zapewniając w ten sposób dokładniejsze i trafniejsze odpowiedzi.

Po drugie, bycie konkretnym, opisowym i szczegółowym w zakresie kontekstu, oczekiwanego wyniku, długości, formatu, stylu itp. może znacząco zwiększyć precyzję reakcji sztucznej inteligencji. Załóżmy, że chcesz wygenerować krótki przegląd artykułu naukowego w angażującym, przyjaznym dla laika stylu. Niejasna instrukcja, taka jak „Podsumuj artykuł naukowy”, dałaby mniej skuteczne wyniki w porównaniu z konkretną, szczegółową podpowiedzią:

Użytkownik: Wygeneruj krótkie (ok. 200 słów), angażujące streszczenie poniższej pracy naukowej. Streszczenie powinno być zrozumiałe dla osoby nieposiadającej wiedzy naukowej, a jednocześnie dokładnie odzwierciedlać najważniejsze wnioski zawarte w artykule.
Papier: """
{tekst artykułu naukowego tutaj}
„” ”

2) Wzór osoby

Wzorzec Persona to strategia, która ustawia sztuczną inteligencję do działania z określonej perspektywy, na przykład roli zawodowej lub postaci fikcyjnej. Ta taktyka umożliwia modelowi dostarczenie wyników związanych z konkretnymi rolami, które osoba będzie pełnić. Można na przykład poinstruować sztuczną inteligencję, aby podczas przeglądu kodu działała jako ekspert ds. cyberbezpieczeństwa. Ten wzorzec jest szczególnie przydatny, gdy użytkownicy potrzebują pomocy, ale nie mają pewności co do dokładnych szczegółów wymaganych w wynikach.

Weźmy następujący przykład:

Użytkownik: „Przyjmij postać starszego historyka specjalizującego się w rewolucji francuskiej. Biorąc pod uwagę tę osobę, wyjaśnij najważniejsze wydarzenia i przyczyny prowadzące do upadku monarchii francuskiej.

W tym scenariuszu oczekuje się, że sztuczna inteligencja przeprowadzi dogłębną analizę rewolucji francuskiej, koncentrując się na upadku monarchii, tak jak zrobiłby to historyk.

Przedstawiamy nowe informacje

ChatGPT nie posiada wiedzy wykraczającej poza limit szkoleń, dlatego nie może dostarczać informacji o ostatnich wydarzeniach ani aktualizacjach po szkoleniu. Możesz jednak wprowadzić nowe informacje do modelu za pomocą podpowiedzi.

Użytkownik: „Co to jest kryptowaluta?”
ChatGPT: „Kryptowaluta to rodzaj waluty cyfrowej lub wirtualnej, która wykorzystuje kryptografię dla bezpieczeństwa. Najbardziej znaną kryptowalutą jest Bitcoin.”

Teraz, jeśli dodamy nieco więcej kontekstu do podpowiedzi, możemy uczynić wyjaśnienie jeszcze bardziej intuicyjnym:

Użytkownik: „Wyjaśnij koncepcję kryptowaluty uczniowi szkoły średniej studiującemu finanse cyfrowe”
ChatGPT: „Wyobraź sobie, że grasz w grę wideo online i możesz zarobić pieniądze na grę, aby kupić ulepszenia lub nowe postacie. Kryptowaluta jest w pewnym sensie podobna, ale zamiast ograniczać się do gry, można jej używać do kupowania towarów i usług w świecie rzeczywistym. To jak cyfrowe pieniądze, których nie kontroluje żaden bank ani rząd.

3) Ograniczenia rozmiaru monitu

Zrozumienie ograniczeń rozmiaru ChatGPT jest niezbędne, ponieważ bezpośrednio wpływa na ilość i rodzaj informacji, które możemy wprowadzić. Modele językowe nie są zbudowane tak, aby przetwarzać nieograniczoną liczbę danych jednocześnie. Mają nieodłączne ograniczenie rozmiaru podpowiedzi, którą możemy utworzyć i wprowadzić. To ograniczenie ma poważne konsekwencje dla projektowania i wykonywania podpowiedzi.

ChatGPT ma limit tokenów (zwykle 2048 tokenów), który obejmuje zarówno monit, jak i wygenerowaną odpowiedź. Oznacza to, że długie monity mogą ograniczyć długość odpowiedzi. Dlatego ważne jest, aby podpowiedzi były zwięzłe, ale zawierały wiele informacji.

W praktyce musimy działać jak redaktorzy, selektywnie wybierając informacje najbardziej istotne dla danego zadania. Wyobraź sobie, że piszesz artykuł lub artykuł z limitem słów lub stron – nie możesz po prostu wyrzucić przypadkowych faktów, ale starannie wybrać i uporządkować informacje istotne dla tematu.

Użytkownik: „Biorąc pod uwagę symboliczne ograniczenia modelu, podsumuj kluczowe wydarzenia II wojny światowej w mniej niż 1000 słowach”.

Potwierdzając ograniczenia modelu, ten monit nakazuje sztucznej inteligencji dostarczenie zwięzłego, ale wszechstronnego podsumowania II wojny światowej.

Podpowiedzi do wielokrotnego użycia: w scenariuszu konwersacyjnym możesz ponownie wykorzystać podpowiedzi lub udoskonalić je w oparciu o poprzednie odpowiedzi. Zapewnia to przepływ konwersacji i utrzymuje kontekst interakcji.

4) Wzór udoskonalenia pytania

ChatGPT może również pomóc w doprecyzowaniu Twoich pytań. Na przykład, jeśli zadasz pytanie, może ono zasugerować lepiej sformułowane pytanie, aby uzyskać dokładniejsze wyniki.

Wzór doprecyzowania pytania polega na tym, że LLM doprecyzowuje pytania zadawane przez użytkownika. Jest to szczególnie przydatne, gdy użytkownicy nie są ekspertami w danej dziedzinie lub nie są pewni, jak sformułować swoje pytanie.

Przykładowy monit może wyglądać następująco:

Użytkownik: „Za każdym razem, gdy zadaję pytanie dotyczące nauki o danych, zasugeruj bardziej szczegółowe pytanie, uwzględniające specyfikę analizy statystycznej i zapytaj, czy chcę kontynuować z bardziej szczegółowym pytaniem”.

W tym przypadku oczekuje się, że sztuczna inteligencja zawęzi ogólne pytania użytkownika dotyczące nauki o danych do bardziej szczegółowych pytań uwzględniających aspekty analizy statystycznej.

5) Wzorzec weryfikatora poznawczego

Wzorzec weryfikatora poznawczego dzieli złożone pytania na mniejsze, łatwe do opanowania pytania cząstkowe. Odpowiedzi na te pytania dodatkowe są następnie łączone w celu uzyskania kompleksowej odpowiedzi na pytanie główne. Podejście to jest przydatne, gdy pytania początkowe są zbyt szczegółowe lub gdy wymagana jest dodatkowa przejrzystość, aby zapewnić pełną odpowiedź.

Na przykład:

Użytkownik: „Jeśli zadam pytanie dotyczące zmiany klimatu, podziel je na trzy mniejsze pytania, które pomogą Ci udzielić dokładniejszej odpowiedzi. Połącz odpowiedzi na te pytania cząstkowe, aby uzyskać ostateczną odpowiedź.

W tym scenariuszu sztuczna inteligencja podzieli złożone pytanie dotyczące zmiany klimatu na trzy możliwe do wykonania pytania cząstkowe. Po otrzymaniu odpowiedzi na te pytania cząstkowe sztuczna inteligencja połączy je, aby zapewnić bardziej kompleksową i dokładną odpowiedź.

Ten wzorzec polega na generowaniu wielu pytań w celu uzyskania dokładniejszej ostatecznej odpowiedzi. Jest to proces weryfikacji i konsolidacji informacji w celu uzyskania solidnego wyniku końcowego

6) Podejście polegające na podpowiedzi kilku strzałów

Podpowiadanie za pomocą kilku strzałów to skuteczne podejście do uczenia modeli sztucznej inteligencji podążania za określonymi wzorcami lub wykonywania zadań. Chodzi o to, aby nakarmić modela wieloma przykładami, zanim zadasz pożądane pytanie. Pomaga to ustawić pożądane zachowanie i kierować reakcjami modelu.

Rozważmy scenariusz, w którym użytkownik próbuje przygotować zwięzły i przekonujący tekst marketingowy dotyczący nowego gadżetu technologicznego:

Użytkownik: „Oto kilka przykładów kopii marketingowych technologii: „Doświadczaj muzyki jak nigdy dotąd dzięki naszym najnowocześniejszym słuchawkom bezprzewodowym”. „Uchwyć swój świat w oszałamiającej rozdzielczości 4K za pomocą naszej niezwykle eleganckiej kamery sportowej”. Biorąc pod uwagę te przykłady, przygotuj kopię marketingową naszego nowego smartwatcha napędzanego sztuczną inteligencją.

ChatGPT: „Wzmocnij swój styl życia dzięki naszemu smartwatchowi opartemu na sztucznej inteligencji, Twojemu towarzyszowi dbającemu o zdrowie, łączność i produktywność”. Niezwykłą cechą uczenia się przez kilka strzałów jest to, że nie wymaga szczegółowego opisu sposobu wykonania zadania. Zamiast tego wymaga demonstracji tego, co się robi, co może sprawić, że będzie dobrze pasować do wielu zastosowań.

Co więcej, technika ta wykracza poza proste parowanie wejścia-wyjścia. Modelu można także nauczyć, jak wykonywać etapy pośrednie, aby osiągnąć cel.

7) Podpowiadanie w łańcuchu myślowym

W swoim ostatnim artykule badawczym „Podpowiadanie w oparciu o łańcuch myśli wywołuje rozumowanie w modelach wielkojęzycznych” autorzy Jason Wei i zespół starają się stymulować rozumowanie w ramach dużych modeli językowych. Zamiast używać tradycyjnych, bezpośrednich podpowiedzi, zespół korzysta z szeregu wzajemnie powiązanych podpowiedzi, tworząc „łańcuch myślowy”.

Na przykład użytkownik może być zainteresowany potencjalnym wpływem sztucznej inteligencji na rynki pracy:

Użytkownik: „Czy mógłbyś krótko wyjaśnić pojęcie sztucznej inteligencji?”

ChatGPT: „Sztuczna inteligencja, czyli AI, odnosi się do zdolności maszyny do naśladowania inteligentnego ludzkiego zachowania. Chodzi o zaprojektowanie maszyn, które potrafią myśleć i uczyć się jak ludzie, umożliwiając im między innymi wykonywanie takich zadań, jak tłumaczenie językowe, podejmowanie decyzji i rozwiązywanie problemów.

Użytkownik: „Jak sztuczna inteligencja wpływa na obecny rynek pracy?”

ChatGPT: „Sztuczna inteligencja zarówno tworzy nowe miejsca pracy, jak i zmienia charakter istniejących. Z jednej strony automatyzuje rutynowe zadania, co prowadzi do przenoszenia stanowisk pracy w niektórych sektorach. Z drugiej strony tworzy zapotrzebowanie na role, które wcześniej nie istniały, takie jak specjaliści ds. etyki AI, analitycy danych i inżynierowie zajmujący się uczeniem maszynowym. Ponadto sztuczna inteligencja może rozszerzyć role ludzkie, umożliwiając ludziom wydajniejsze i dokładniejsze wykonywanie zadań”.

Podpowiadanie w oparciu o łańcuch myśli następuje po kolejnych powiązanych podpowiedziach, utrzymując „rozmowę” z modelem, która prowadzi go do bardziej precyzyjnych i odpowiednich do kontekstu odpowiedzi.

Zrozumienie interfejsu API ChatGPT i szybkiej inżynierii z perspektywy programisty

Z punktu widzenia programisty lub badacza szybka inżynieria jest procesem bardziej złożonym. Obejmuje projektowanie algorytmów i technik, które pomogą modelowi sztucznej inteligencji lepiej rozumieć podpowiedzi i reagować na nie. Może to obejmować strategie postępowania z niejednoznacznymi podpowiedziami, identyfikowanie kontekstu podpowiedzi lub łączenie podpowiedzi w celu stymulowania bardziej złożonych procesów myślowych w sztucznej inteligencji

Na powyższej ilustracji użytkownik wchodzi w interakcję z interfejsem czatu obsługiwanym przez GPT-4. Ich dane wejściowe są ulepszane pod kątem przejrzystości i spójności kontekstowej przez wyspecjalizowany moduł, zanim zostaną wprowadzone do modelu sztucznej inteligencji. Rolą tego modułu jest udoskonalenie i udoskonalenie wkładu użytkownika w celu lepszego zrozumienia, przy jednoczesnym zachowaniu kontekstu rozmowy. Odpowiedź sztucznej inteligencji, opracowana na podstawie dopracowanego monitu, jest zwracana użytkownikowi za pośrednictwem interfejsu czatu. Historia interakcji jest aktualizowana na bieżąco, zachowując kontekst konwersacji. Ogólnie rzecz biorąc, ten diagram ilustruje dynamiczny przepływ konwersacji między użytkownikami a sztuczną inteligencją, możliwy dzięki szybkim technikom inżynieryjnym.

Połączenia Interfejsy API ChatGPT Interfejs zawiera różne hiperparametry, które umożliwiają użytkownikom udoskonalanie reakcji sztucznej inteligencji na monity, dzięki czemu są one bardziej skuteczne i wszechstronne. Należą do nich parametry Temperatura, Maksymalna długość i Sekwencje zatrzymania. Przyjrzyjmy się, jak działają i można je wykorzystać w różnych kontekstach.

1) Temperatura

Parametr temperatury wpływa na losowość reakcji AI. Wyższa temperatura, np. 1.0, sprzyja większej losowości wyników, co skutkuje różnorodnymi, ale potencjalnie nie na temat odpowiedziami. Z kolei niższa temperatura, np. 0.2, skłania sztuczną inteligencję do wybierania bardziej deterministycznych reakcji, co może być korzystne w przypadku ukierunkowanych i konkretnych wyników, ale może brakować im różnorodności.

Przykład: Jeśli piszesz kreatywną historię i potrzebujesz nieprzewidywalnych, pomysłowych elementów, ustaw wyższą temperaturę. Podpowiedź może brzmieć: „Napisz krótką historię o kocie podróżującym w czasie”. Przy wysokiej temperaturze możesz otrzymać dziką, fantastyczną opowieść z nieprzewidywalnymi zwrotami akcji.

2) Maksymalna długość

Ten parametr kontroluje maksymalną długość tokenu danych wyjściowych modelu, która obejmuje zarówno tokeny na wejściu komunikatu, jak i na wyjściu komunikatu. Ustawienie wyższego limitu pozwala na dłuższe odpowiedzi, podczas gdy dolny limit sprawia, że ​​dane wyjściowe są krótkie i zwięzłe.

Przykład: krótkie odpowiedzi na ciekawostki, takie jak „Kto zdobył literacką Nagrodę Nobla w 2020 r.?” możesz ustawić maksymalną długość na niską wartość, zapewniając zwięzłą i bezpośrednią odpowiedź.

3) Sekwencje zatrzymania

Sekwencje zatrzymujące to określone ciągi tekstowe, których napotkanie przez model przestaje generować dalsze dane wyjściowe. Ta funkcja może być przydatna do kontrolowania długości wyniku lub wydawania poleceń modelowi, aby zatrzymał się w logicznych punktach końcowych.

Przykład: w przypadku listu formalnego możesz użyć słów „Z poważaniem” jako sekwencji zatrzymującej, aby mieć pewność, że sztuczna inteligencja nie wygeneruje żadnego dodatkowego tekstu poza właściwym zakończeniem listu.

4) Góra P

Parametr „Top P”, znany również jako próbkowanie jądra, to metoda zapewniająca dynamiczny wybór liczby słów uwzględnianych na każdym etapie przewidywań modelu. Niższa wartość, np. 0.5, prowadzi do bezpieczniejszych i bardziej ukierunkowanych wyników. Wyższa wartość, np. 0.9, obejmuje szerszy wybór słów, co prowadzi do bardziej zróżnicowanych wyników.

Przykład: jeśli tworzysz sztuczną inteligencję do pisania wierszy i chcesz, aby korzystała z szerokiego wachlarza słownictwa i wyrażeń stylistycznych, możesz ustawić „Top P” na wyższą wartość. Podpowiedź może brzmieć: „Ułóż wiersz o pięknie jesieni”.

5) Kara za częstotliwość

Kara za częstotliwość kontroluje, w jakim stopniu model powinien faworyzować rzadsze słowa. Wyższa kara (do 1) zachęca model do używania mniej popularnych słów, podczas gdy niższa wartość (do -1) zachęca model do używania bardziej powszechnych słów.

Przykład: jeśli próbujesz wygenerować propozycję biznesową i chcesz uniknąć żargonu, możesz ustawić karę za częstotliwość na niższą wartość, aby język był jasny i przystępny.

6) Kara za obecność

Parametr Presence Penalty wpływa na to, jak bardzo model zostanie ukarany za wygenerowanie nowych pomysłów lub tematów, których nie było w historii konwersacji. Wyższe wartości zachęcają model do trzymania się tematów już poruszonych, natomiast niższe wartości pozwalają modelowi na swobodniejsze wprowadzanie nowych koncepcji.

Przykład: W przypadku sesji burzy mózgów możesz ustawić karę za obecność na niższą wartość, aby zachęcić do różnorodnego zestawu pomysłów. Możesz użyć podpowiedzi typu „Wygeneruj innowacyjne strategie marketingowe dla internetowej platformy edukacyjnej”.

Przemysłowe zastosowanie szybkiej inżynierii