Jak duże modele językowe (LLM) będą napędzać aplikacje przyszłości

Generatywny AI, a w szczególności jego odmiana językowa – ChatGPT, jest wszędzie. Technologia dużej skali modelu językowego (LLM) odegra znaczącą rolę w rozwoju aplikacji przyszłości. LLM są bardzo dobre w rozumieniu języka dzięki obszernemu przeszkoleniu podstawowych modeli na trylionach linii tekstu z domeny publicznej, w tym kodu. Metody takie jak nadzorowane dokształcanie i wzmocnione uczenie się z ludzką odpowiedzią (RLHF) sprawiają, że te LLM stają się jeszcze bardziej efektywne w odpowiedziach na konkretnych pytania i rozmowach z użytkownikami. Gdy wkraczamy w następną fazę aplikacji AI napędzanych przez LLM, następujące kluczowe składniki będą niezbędne dla tych aplikacji następnej generacji. Poniższy rysunek pokazuje tę progresję, a gdy poruszamy się w górę łańcucha, budujemy coraz więcej inteligencji i autonomii w naszych aplikacjach. Spójrzmy na te różne poziomy.

LLM calls:

To są bezpośrednie wywołania modelu uzupełniania lub rozmowy przez dostawcę LLM, takiego jak Azure OpenAI lub Google PaLM lub Amazon Bedrock. Te wywołania mają bardzo podstawowe polecenie i w większości przypadków wykorzystują pamięć wewnętrzną LLM do wygenerowania odpowiedzi.

Przykład: Zapytanie podstawowego modelu, takiego jak „text-davinci”, aby „opowiedzieć żart”. Podajesz bardzo mało kontekstu, a model opiera się na swojej wewnętrznej pamięci, aby wygenerować odpowiedź (wyróżnioną na zielono na poniższym rysunku – przy użyciu Azure OpenAI).

Prompts:

Następny poziom inteligencji polega na dodawaniu coraz więcej kontekstu do poleceń. Istnieją techniki inżynierii poleceń, które można zastosować do LLM, aby uzyskać dostosowane odpowiedzi. Na przykład, podczas generowania wiadomości e-mail do użytkownika, pewien kontekst dotyczący użytkownika, poprzednich zakupów i wzorców zachowań może służyć jako polecenie, aby lepiej dostosować wiadomość. Użytkownicy znający ChatGPT wiedzą o różnych metodach poleceń, takich jak podawanie przykładów, które są wykorzystywane przez LLM do budowy odpowiedzi. Polecenia uzupełniają pamięć wewnętrzną LLM o dodatkowy kontekst. Poniżej znajduje się przykład.

Embeddings:

Embeddings przenoszą polecenia na następny poziom, wyszukując magazyn wiedzy w celu uzyskania kontekstu i dołączając go do polecenia. Tutaj pierwszym krokiem jest utworzenie dużej bazy dokumentów z nieustrukturyzowanym tekstem, który można wyszukać, indeksując tekst i wypełniając bazę danych wektorów. Do tego celu wykorzystuje się model embeddings, taki jak „ada” od OpenAI, który pobiera fragment tekstu i konwertuje go na wektor o n-wymiarze. Te embedings przechwytują kontekst tekstu, więc podobne zdania będą miały embedings, które są blisko siebie w przestrzeni wektorowej. Gdy użytkownik wprowadza zapytanie, zapytanie to również jest konwertowane na embeddings, a następnie porównywane z wektorami w bazie danych. W ten sposób uzyskujemy najlepsze 5 lub 10 pasujących fragmentów tekstu dla zapytania, które tworzą kontekst. Zapytanie i kontekst są przekazywane do LLM, aby odpowiedzieć na pytanie w sposób ludzki.

Chains:

Dziś łańcuchy są najbardziej zaawansowaną i dojrzałą technologią dostępną do budowy aplikacji LLM. Łańcuchy są deterministyczne, gdzie sekwencja wywołań LLM jest połączona z wyjściem z jednego wywołania, które płynie do jednego lub więcej LLM. Na przykład, możemy mieć wywołanie LLM, które zapytuje bazę danych SQL i pobiera listę adresów e-mail klientów, a następnie przekazuje tę listę do innego LLM, które generuje spersonalizowane wiadomości e-mail do klientów. Te łańcuchy LLM mogą być zintegrowane z istniejącymi przepływami aplikacji, aby wygenerować bardziej wartościowe wyniki. Wykorzystując łańcuchy, możemy uzupełnić wywołania LLM o zewnętrzne dane wejściowe, takie jak wywołania API i integrację z grafami wiedzy, aby zapewnić kontekst. Co więcej, dziś z wieloma dostawcami LLM, takimi jak OpenAI, AWS Bedrock, Google PaLM, MosaicML itd., możemy łączyć i wymieniać wywołania LLM w łańcuchach. Dla elementów łańcucha o ograniczonej inteligencji można wykorzystać niższy LLM, taki jak „gpt3.5-turbo”, podczas gdy dla bardziej zaawansowanych zadań można wykorzystać „gpt4”. Łańcuchy zapewniają abstrakcję dla danych, aplikacji i wywołań LLM.

Agents:

Agenci to temat wielu internetowych debat, szczególnie w odniesieniu do sztucznej inteligencji ogólnej (AGI). Agenci wykorzystują zaawansowany LLM, taki jak „gpt4” lub „PaLM2”, do planowania zadań, zamiast korzystania z predefiniowanych łańcuchów. Teraz, gdy użytkownicy wysyłają zapytania, agent decyduje, jaki zestaw zadań wywołać i dynamicznie buduje łańcuch. Na przykład, gdy konfigurujemy agenta z poleceniem, takim jak „powiadomić klientów, gdy zmienia się oprocentowanie kredytu z powodu aktualizacji przepisów rządowych”. Ramy agenta wywołują LLM, aby zdecydować, jakie kroki podjąć lub jakie łańcuchy zbudować. Tutaj będzie to obejmowało wywołanie aplikacji, która parsuje strony internetowe regulacyjne i wyodrębnia najnowszy wskaźnik oprocentowania, a następnie wywołanie LLM, które wyszukuje bazę danych i wyodrębnia adresy e-mail klientów, których to dotyczy, a na koniec generuje wiadomość e-mail, aby powiadomić wszystkich.

Końcowe myśli

LLM to bardzo dynamicznie rozwijająca się technologia, a lepsze modele i aplikacje są uruchamiane co tydzień. LLM do agentów to drabina inteligencji, a gdy poruszamy się w górę, budujemy coraz bardziej złożone i autonomiczne aplikacje. Lepsze modele oznaczają bardziej skutecznych agentów, a aplikacje następnej generacji będą napędzane przez te technologie. Czas pokaże, jak zaawansowane będą aplikacje następnej generacji i jakie wzorce będą je napędzać.