Jak velké jazykové modely (LLM) povedou aplikace budoucnosti

Generativní AI a zejména její jazyková příchuť – ChatGPT je všude. Technologie velkého jazykového modelu (LLM) bude hrát významnou roli ve vývoji budoucích aplikací. LLM jsou velmi dobré v porozumění jazyku díky rozsáhlému předběžnému školení, které bylo provedeno pro základní modely na bilionech řádků veřejně dostupného textu, včetně kódu. Metody jako doladění pod dohledem a zesílené učení s lidskou zpětnou vazbou (RLHF) činí tyto LLM ještě efektivnějšími při odpovídání na konkrétní otázky a konverzaci s uživateli. Jak se dostáváme do další fáze aplikací AI poháněných LLM – následující klíčové komponenty budou pro tyto aplikace nové generace klíčové. Obrázek níže ukazuje tento vývoj, a jak postupujete v řetězci, ve svých aplikacích budujete více inteligence a autonomie. Podívejme se na tyto různé úrovně.

hovory LLM:

Jedná se o přímé výzvy k dokončení nebo modely chatu od poskytovatele LLM, jako je Azure OpenAI nebo Google PaLM nebo Amazon Bedrock. Tato volání mají velmi základní výzvu a většinou využívají vnitřní paměť LLM k vytvoření výstupu.

Příklad: Požádání základního modelu, jako je „text-davinci“, aby „řekl vtip“. Dáte velmi málo kontextu a model se spoléhá na svou interní předtrénovanou paměť, aby přišel s odpovědí (na obrázku níže zvýrazněno zeleně – pomocí Azure OpenAI).

Výzvy:

Další úroveň inteligence je v přidávání více a více kontextu do výzev. Existují techniky rychlého inženýrství, které lze aplikovat na LLM, díky nimž mohou poskytovat přizpůsobené odpovědi. Například při generování e-mailu uživateli může určitý kontext o uživateli, minulých nákupech a vzorcích chování sloužit jako výzva k lepšímu přizpůsobení e-mailu. Uživatelé obeznámení s ChatGPT budou znát různé metody dotazování, jako je uvádění příkladů, které LLM používá k vytvoření odpovědi. Výzvy rozšiřují vnitřní paměť LLM o další kontext. Příklad je níže.

Vložení:

Vkládání posouvá výzvy na další úroveň hledáním kontextu v obchodě znalostí, získáním tohoto kontextu a připojením k výzvě. Zde je prvním krokem, aby bylo možné prohledávat velké úložiště dokumentů s nestrukturovaným textem pomocí indexování textu a naplnění vektorové databáze. K tomu se používá vkládací model jako 'ada' od OpenAI, který vezme kus textu a převede ho na n-rozměrný vektor. Tato vložení zachycují kontext textu, takže podobné věty budou mít vložení, která jsou blízko sebe ve vektorovém prostoru. Když uživatel zadá dotaz, tento dotaz se také převede na vložení a tento vektor se porovná s vektory v databázi. Získáme tedy 5 nebo 10 nejlepších odpovídajících částí textu pro dotaz, které tvoří kontext. Dotaz a kontext jsou předány LLM, aby odpověděly na otázku způsobem podobným člověku.

řetězy:

Dnes jsou Chains nejpokročilejší a nejvyspělejší dostupnou technologií, která je široce používána k vytváření aplikací LLM. Řetězce jsou deterministické, kde se sekvence volání LLM spojuje s výstupem z jednoho tekoucího do jednoho nebo více LLM. Například bychom mohli mít volání LLM dotaz na databázi SQL a získat seznam e-mailů zákazníků a poslat tento seznam do jiné LLM, která bude generovat personalizované e-maily pro zákazníky. Tyto LLM řetězce lze integrovat do stávajících aplikačních toků a vytvářet hodnotnější výsledky. Pomocí řetězců bychom mohli rozšířit volání LLM o externí vstupy, jako jsou volání API a integraci s grafy znalostí, abychom poskytli kontext. Navíc dnes, kdy je k dispozici více poskytovatelů LLM, jako je OpenAI, AWS Bedrock, Google PaLM, MosaicML atd., bychom mohli hovory LLM kombinovat a spojovat do řetězců. Pro prvky řetězce s omezenou inteligencí lze použít nižší LLM, jako je „gpt3.5-turbo“, zatímco pro pokročilejší úlohy lze použít „gpt4“. Řetězce poskytují abstrakci pro data, aplikace a LLM volání.

Agenti:

Agenti jsou tématem mnoha online debat, zejména pokud jde o umělou obecnou inteligenci (AGI). Agenti používají pokročilý LLM jako 'gpt4' nebo 'PaLM2' k plánování úkolů místo toho, aby měli předem definované řetězce. Takže nyní, když existují požadavky uživatelů, agent na základě dotazu rozhodne, jakou sadu úloh zavolat, a dynamicky vytvoří řetězec. Například když nakonfigurujeme agenta s příkazem jako „upozornit zákazníky, když se RPSN půjčky změní v důsledku aktualizace vládního nařízení“. Rámec agenta zavolá LLM, aby rozhodl o krocích, které je třeba podniknout, nebo o vytvoření řetězců. Zde to bude zahrnovat vyvolání aplikace, která seškrábe regulační webové stránky a extrahuje nejnovější sazbu APR, poté volání LLM prohledá databázi a extrahuje e-maily zákazníků, kterých se to týká, a nakonec se vygeneruje e-mail, který všechny upozorní.

Závěrečné myšlenky

LLM je vysoce se vyvíjející technologie a každý týden jsou uváděny na trh lepší modely a aplikace. LLM to Agents je zpravodajský žebříček a jak postupujeme nahoru, budujeme komplexní autonomní aplikace. Lepší modely budou znamenat účinnější agenty a aplikace nové generace budou poháněny právě těmito. Čas ukáže, jak pokročilé aplikace nové generace budou a jaké vzory budou poháněny.