Hvordan Large Language Models (LLM) vil drive fremtidens apps

Generativ AI og særligt sprog-varianten af det – ChatGPT er overalt. Large Language Model (LLM) teknologi vil spille en betydelig rolle i udviklingen af fremtidige applikationer. LLM’er er meget gode til at forstå sprog på grund af den omfattende forudgående træning, der er blevet udført for grundlæggende modeller på trillioner af linjer offentligt domæne-tekst, herunder kode. Metoder som supervised finjustering og forstærket læring med menneskelig feedback (RLHF) gør disse LLM’er endnu mere effektive i at besvare specifikke spørgsmål og samtale med brugere. Da vi går ind i den næste fase af AI-applikationer, der drives af LLM’er – følgende nøglekomponenter vil være afgørende for disse næste generationers applikationer. Figuren nedenfor viser denne fremgang, og som du flytter dig op ad kæden, bygger du mere intelligens og autonomi i dine applikationer. Lad os se på disse forskellige niveauer.

LLM-opkald:

Disse er direkte opkald til afslutnings- eller chat-modeller af en LLM-udbyder som Azure OpenAI eller Google PaLM eller Amazon Bedrock. Disse opkald har en meget basal prompt og bruger primært den interne hukommelse af LLM’en til at producere output.

Eksempel: At spørge en basal model som “text-davinci” om at “fortælle en vittighed”. Du giver meget lidt kontekst, og modellen afhænger af sin interne forudtrænede hukommelse til at komme med et svar (højlet i grønt i figuren nedenfor – ved hjælp af Azure OpenAI).

Prompts:

Næste niveau af intelligens er at tilføje mere og mere kontekst til prompts. Der er teknikker for prompt-ingeniørarbejde, der kan anvendes på LLM’er, som kan gøre dem give tilpassede svar. For eksempel, når du genererer en e-mail til en bruger, kan nogen kontekst om brugeren, tidligere køb og adfærdsmønstre tjene som prompt til at tilpasse e-mailen bedre. Brugere, der er fortrolige med ChatGPT, vil kende forskellige metoder for at prompte, som at give eksempler, der bruges af LLM’en til at bygge responsen. Prompts udvider den interne hukommelse af LLM’en med yderligere kontekst. Eksempel er nedenfor.

Indlejring:

Indlejring tager prompts til næste niveau ved at søge i en videnssamling efter kontekst og hente denne kontekst og tilføje den til prompten. Her er det første skridt at oprette en stor dokument-samling med ukategoriseret tekst, der kan søges ved at indekserer teksten og populere en vektor-database. Til dette bruges en indlejring-model som ‘ada’ af OpenAI, der tager en stump tekst og konverterer den til en n-dimensionel vektor. Disse indlejring’er fanger konteksten af teksten, så lignende sætninger vil have indlejring’er, der er tæt på hinanden i vektor-rummet. Når brugeren indtaster en forespørgsel, konverteres denne forespørgsel også til en indlejring og denne vektor sammenlignes med vektorer i databasen. Derved får vi de fem eller ti bedste matchende tekst-stykker for forespørgslen, der danner konteksten. Forespørgslen og konteksten sendes til LLM’en for at svare på spørgsmålet på en måde, der ligner en menneske.

Kæder:

I dag er kæder den mest avancerede og modne teknologi, der er til rådighed og omfattende bruges til at bygge LLM-applikationer. Kæder er deterministiske, hvor en række LLM-opkald er forbundet sammen med output fra det ene, der flyder ind i ét eller flere LLM’er. For eksempel kunne vi have et LLM-opkald, der forespørger en SQL-database og får en liste over kunde-e-mails og sender denne liste til et andet LLM, der genererer personlige e-mails til kunderne. Disse LLM-kæder kan integreres i eksisterende applikationsflader for at generere mere værdifulde resultater. Ved hjælp af kæder kunne vi udvide LLM-opkald med eksterne indtastninger som API-opkald og integration med viden-grafer for at give kontekst. Desuden, i dag med flere LLM-udbydere til rådighed som OpenAI, AWS Bedrock, Google PaLM, MosaicML osv., kunne vi kombinere og matche LLM-opkald i kæder. For kæde-elementer med begrænset intelligens kunne en lavere LLM som ‘gpt3.5-turbo’ bruges, mens for mere avancerede opgaver ‘gpt4’ kunne bruges. Kæder giver en abstraktion for data, applikationer og LLM-opkald.

Agenter:

Agenter er et emne for mange online-debatter, særligt i forhold til kunstig generel intelligens (AGI). Agenter bruger en avanceret LLM som ‘gpt4’ eller ‘PaLM2’ til at planlægge opgaver i stedet for at have foruddefinerede kæder. Så nu, når der er brugerforespørgsler, beslutter agenten, baseret på forespørgslen, hvilken sæt af opgaver der skal udføres, og bygger dynamisk en kæde. For eksempel, når vi konfigurerer en agent med en kommando som “underret kunder, når lån APR ændrer sig på grund af regeringsregulering”. Agent-rammen gør et LLM-opkald for at beslutte, hvilke skridt der skal tages eller kæder der skal bygges. Her vil det involvere at kalde en app, der scraper reguleringshjemmesider og udtrækker den seneste APR-sats, derefter et LLM-opkald søger i databasen og udtrækker kunde-e-mails, der er berørt, og endelig genereres en e-mail til at underrette alle.

Endelige tanker

LLM er en højtydende teknologi, og bedre modeller og applikationer lanceres hver uge. LLM til Agenter er intelligens-stigen, og som vi flytter os op ad den, bygger vi komplekse autonome applikationer. Bedre modeller vil betyde mere effektive agenter, og næste generationers applikationer vil blive drevet af disse. Tiden vil vise, hvor avancerede næste generationers applikationer vil blive, og hvilke mønstre de vil blive drevet af.