Hvordan store sprogmodeller (LLM) vil drive fremtidens apps

Genererende AI og særligt sprog-varianten af det – ChatGPT er overalt. Store Sprogmodeller (LLM) teknologi vil spille en betydelig rolle i udviklingen af fremtidige applikationer. LLM’er er meget gode til at forstå sprog på grund af den omfattende pre-træning, der er blevet udført for grundlæggende modeller på billioner af linjer offentligt tilgængelig tekst, herunder kode. Metoder som supervised finjustering og forstærket læring med menneskelig feedback (RLHF) gør disse LLM’er endnu mere effektive til at besvare specifikke spørgsmål og konversere med brugere. Da vi går ind i den næste fase af AI-applikationer, der drives af LLM’er – følgende nøglekomponenter vil være afgørende for disse næste generationers applikationer. Figuren nedenfor viser denne progression, og som du bevæger dig op ad kæden, bygger du mere intelligens og autonomi i dine applikationer. Lad os se på disse forskellige niveauer.

LLM-opkald:

Disse er direkte opkald til afslutnings- eller chat-modeller af en LLM-udbyder som Azure OpenAI eller Google PaLM eller Amazon Bedrock. Disse opkald har en meget grundlæggende prompt og bruger hovedsageligt den interne hukommelse af LLM til at producere output.

Eksempel: At spørge en grundlæggende model som “text-davinci” om at “fortælle en vittighed”. Du giver meget lidt kontekst, og modellen afhænger af sin interne pre-trænede hukommelse for at komme med et svar (hævet i grønt i figuren nedenfor – ved hjælp af Azure OpenAI).

Prompts:

Næste niveau af intelligens er at tilføje mere og mere kontekst til prompts. Der er teknikker for prompt-teknik, der kan anvendes på LLM’er, som kan gøre dem give tilpassede svar. For eksempel, når du genererer en e-mail til en bruger, kan nogen kontekst om brugeren, tidligere køb og adfærds mønster tjene som prompt til at tilpasse e-mailen bedre. Brugere, der er fortrolige med ChatGPT, vil kende forskellige metoder til at prompte som at give eksempler, der bruges af LLM til at bygge respons. Prompts udvider den interne hukommelse af LLM med yderligere kontekst. Eksempel er nedenfor.

Indlejring:

Indlejring tager prompts til næste niveau ved at søge i en videnlager efter kontekst og opnå denne kontekst og føje den til prompten. Her er det første skridt at oprette et stort dokumentlager med ustukt tekst, der kan søges ved at indekse teksten og fylde en vektor-database. Til dette bruges en indlejringmodel som ‘ada’ af OpenAI, der tager en stump tekst og konverterer den til en n-dimensionel vektor. Disse indlejring(er) fanger konteksten af teksten, så lignende sætninger vil have indlejring(er), der er tæt på hinanden i vektorrummet. Når brugeren indtaster en forespørgsel, konverteres denne forespørgsel også til en indlejring, og denne vektor sammenlignes med vektorer i databasen. Derved får vi de fem eller ti bedste matchende tekststykker for forespørgslen, der danner konteksten. Forespørgslen og konteksten overføres til LLM for at besvare spørgsmålet på en menneske-lignende måde.

Kæder:

I dag er kæder den mest avancerede og modne teknologi, der er omfattende brugt til at bygge LLM-applikationer. Kæder er deterministiske, hvor en række LLM-opkald er forbundet sammen med output fra det ene, der flyder ind i ét eller flere LLM’er. For eksempel kunne vi have et LLM-opkald, der forespørger en SQL-database og får en liste over kunde-e-mails og sender denne liste til et andet LLM, der genererer personlige e-mails til kunderne. Disse LLM-kæder kan integreres i eksisterende applikationsflader for at generere mere værdifulde resultater. Ved hjælp af kæder kunne vi udvide LLM-opkald med eksterne indgange som API-opkald og integration med viden grafer for at give kontekst. Desuden, i dag med flere LLM-udbydere til rådighed som OpenAI, AWS Bedrock, Google PaLM, MosaicML osv., kunne vi blande og matche LLM-opkald i kæder. For kædeelementer med begrænset intelligens kunne en lavere LLM som ‘gpt3.5-turbo’ bruges, mens for mere avancerede opgaver ‘gpt4’ kunne bruges. Kæder giver en abstraktion for data, applikationer og LLM-opkald.

Agenter:

Agenter er et emne for mange online-debatter, særligt med hensyn til kunstig almen intelligens (AGI). Agenter bruger en avanceret LLM som ‘gpt4’ eller ‘PaLM2’ til at planlægge opgaver i stedet for at have foruddefinerede kæder. Så nu, når der er brugerforespørgsler, beslutter agenten, baseret på forespørgslen, hvilke opgaver der skal udføres, og bygger dynamisk en kæde. For eksempel, når vi konfigurerer en agent med en kommando som “underret kunder, når lånets rentesats ændres på grund af en regeringsreguleringsopdatering”. Agentrammen udfører et LLM-opkald for at beslutte, hvilke skridt der skal tages eller hvilke kæder der skal bygges. Her vil det involvere at kalde en app, der scraper reguleringshjemmesider og udtrækker den seneste rentesats, derefter et LLM-opkald, der søger i en database og udtrækker kunde-e-mails, der er berørt, og endelig genereres en e-mail til at underrette alle.

Endelige tanker:

LLM er en højtydende teknologi, og bedre modeller og applikationer lanceres hver uge. LLM til agenter er intelligensstigen, og som vi bevæger os op ad stigen, bygger vi komplekse autonome applikationer. Bedre modeller vil betyde mere effektive agenter, og næste generationers applikationer vil blive drevet af disse. Tiden vil vise, hvor avancerede næste generationers applikationer vil være og hvilke mønstre, de vil blive drevet af.