Jak velké jazykové modely (LLM) budou pohánět aplikace budoucnosti

Generativní AI a zejména jazyková varianta – ChatGPT je všude. Technologie velkých jazykových modelů (LLM) bude hrát významnou roli ve vývoji budoucích aplikací. LLM jsou velmi dobré v porozumění jazyku díky rozsáhlému předtrénování, které bylo provedeno pro základní modely na trillions řádků veřejného textu, včetně kódu. Metody jako dohledované jemné ladění a posílené učení s lidskou zpětnou vazbou (RLHF) dělají tyto LLM ještě účinnějšími při odpovědi na konkrétní otázky a konverzaci s uživateli. Když se dostaneme do další fáze aplikací AI poháněných LLM – následující klíčové komponenty budou důležité pro tyto next-gen aplikace. Níže uvedená figura ukazuje tuto progresi a jak se pohybujete výše po řetězci, budujete více inteligence a autonomie ve svých aplikacích. Podívejme se na tyto různé úrovně.

LLM volání:

Tyto jsou přímá volání dokončovacích nebo chatovacích modelů poskytovatelem LLM, jako je Azure OpenAI nebo Google PaLM nebo Amazon Bedrock. Tato volání mají velmi základní prompt a většinou využívají interní paměť LLM k produkci výstupu.

Příklad: Žádání základního modelu, jako je „text-davinci“, aby „řekl vtip“. Poskytnete velmi málo kontextu a model se spoléhá na svou interní předtrénovanou paměť, aby přišel s odpovědí (zvýrazněno zeleně na obrázku níže – pomocí Azure OpenAI).

Prompt:

Další úroveň inteligence spočívá v přidání více a více kontextu do promptů. Existují techniky pro inženýrství promptů, které lze aplikovat na LLM, aby poskytly přizpůsobené odpovědi. Například při generování e-mailu pro uživatele může kontext o uživateli, předchozích nákupech a vzorcích chování sloužit jako prompt pro lepší přizpůsobení e-mailu. Uživatelé, kteří jsou obeznámeni s ChatGPT, znají různé metody promptování, jako je poskytování příkladů, které LLM používá k vytvoření odpovědi. Prompty doplňují interní paměť LLM o další kontext. Příklad je níže.

Vložené:

Vložené prvky berou prompty na další úroveň hledáním znalostní báze pro kontext a získáním tohoto kontextu a připojením k promptu. Zde je prvním krokem vytvoření velké dokumentové báze s nestrukturovaným textem, který je vyhledatelný indexováním textu a naplněním vektorové databáze. K tomu se používá model vloženého prvku, jako je „ada“ od OpenAI, který převede část textu na n-rozměrný vektor. Tyto vložené prvky zachycují kontext textu, takže podobné věty budou mít vložené prvky, které jsou blízko sebe ve vektorovém prostoru. Když uživatel zadá dotaz, je také převeden na vložený prvek a tento vektor je porovnán s vektory v databázi. Takže získáme top 5 nebo 10 odpovídajících textových částí pro dotaz, které tvoří kontext. Dotaz a kontext jsou předány LLM, aby odpověděly na otázku lidsky.

Řetězy:

Dnes jsou řetězy nejrozvinutější a zralou technologií, která se široce používá k budování aplikací LLM. Řetězy jsou deterministické, kde se posloupnost volání LLM spojuje s výstupem z jednoho LLM, který teče do jednoho nebo více LLM. Například bychom mohli mít LLM volání dotazu na SQL databázi a získat seznam e-mailových adres zákazníků a odeslat tento seznam do jiného LLM, který vygeneruje personalizované e-maily zákazníkům. Tyto LLM řetězy lze integrovat do stávajících aplikačních toků, aby se vytvořily více hodnotné výsledky. Použitím řetězů bychom mohli doplnit LLM volání o externí vstupy, jako jsou API volání a integrace s znalostními grafy, aby se poskytl kontext. Navíc, dnes s několika poskytovateli LLM, jako je OpenAI, AWS Bedrock, Google PaLM, MosaicML atd., bychom mohli kombinovat a střídat LLM volání v řetězech. Pro prvky řetězce s omezenou inteligencí by se mohl použít nižší LLM, jako je „gpt3.5-turbo“, zatímco pro pokročilejší úkoly by se mohl použít „gpt4“. Řetězy poskytují abstrakci pro data, aplikace a LLM volání.

Agenti:

Agenti jsou téma mnoha online debat, zejména v souvislosti s umělou obecnou inteligencí (AGI). Agenti používají pokročilý LLM, jako je „gpt4“ nebo „PaLM2“, k plánování úkolů místo předem definovaných řetězů. Takže když jsou k dispozici uživatelské požadavky, agent na základě dotazu rozhodne, jaký soubor úkolů zavolat a dynamicky vytvoří řetězec. Například když nakonfigurujeme agenta s příkazem „upozornit zákazníky, když se změní APR úroková sazba kvůli vládní regulaci“. Rámec agenta provede LLM volání, aby rozhodl o krocích, které je třeba podniknout, nebo řetězcích, které je třeba postavit. Zde to bude zahrnovat vyvolání aplikace, která vyškrábe regulační webové stránky a extrahuje nejnovější APR sazbu, pak LLM volání prohledá databázi a extrahuje e-mailové adresy zákazníků, kteří jsou postiženi, a nakonec se vygeneruje e-mail, aby se všichni upozornili.

Závěrečné myšlenky

LLM je vysoce se vyvíjející technologie a lepší modely a aplikace se spouštějí každý týden. LLM až po agenty je inteligentní žebříček a jak stoupáme výše, budujeme komplexní autonomní aplikace. Lepší modely budou znamenat více účinné agenty a next-gen aplikace budou poháněny těmito. Čas ukáže, jak pokročilé budou next-gen aplikace a jakými vzorci budou poháněny.