Hvordan store språkmodeller (LLM) vil drive fremtidens applikasjoner

Generativ AI og spesielt språk-varianten av det – ChatGPT er overalt. Store språkmodell-teknologi (LLM) vil spille en betydelig rolle i utviklingen av fremtidige applikasjoner. LLM-er er svært gode til å forstå språk på grunn av den omfattende forhåndstreningen som har blitt gjort for grunnmodeller på trillioner av linjer med offentlig domenetekst, inkludert kode. Metoder som overvåket finjustering og forsterket læring med menneskelig tilbakemelding (RLHF) gjør disse LLM-ene enda mer effektive i å svare på spesifikke spørsmål og samtale med brukere. Når vi går inn i neste fase av AI-applikasjoner drevet av LLM-er – følgende komponenter vil være avgjørende for disse neste generasjons-applikasjonene. Figuren under viser denne fremgangen, og når du flytter deg oppover kjeden, bygger du mer intelligens og autonomi i dine applikasjoner. La oss se på disse ulike nivåene.

LLM-oppkall:

Dette er direkte oppkall til fullførings- eller chatsmodeller fra en LLM-leverandør som Azure OpenAI eller Google PaLM eller Amazon Bedrock. Disse oppkallene har en svært grunnleggende prompt og bruker hovedsakelig den interne minnet til LLM-en for å produsere utdata.

Eksempel: Å spørre en grunnleggende modell som “text-davinci” om å “fortelle en vits”. Du gir svært liten kontekst og modellen bruker sin interne forhåndstrente minne for å komme opp med et svar (høydepunkt i grønt i figuren under – ved hjelp av Azure OpenAI).

Prompt:

Neste nivå av intelligens er å legge til mer og mer kontekst i promptene. Det finnes teknikker for promptingeniører som kan brukes på LLM-er som kan gjøre dem gi tilpassede svar. For eksempel, når du genererer en e-post til en bruker, kan noen kontekst om brukeren, tidligere kjøp og atferdmønster tjene som en prompt for å tilpasse e-posten bedre. Brukere som er kjent med ChatGPT vil kjenne til ulike metoder for prompting, som å gi eksempler som brukes av LLM-en til å bygge responsen. Promptene utvider den interne minnet til LLM-en med ekstra kontekst. Eksempel er under.

Embetting:

Embetting tar promptene til neste nivå ved å søke i en kunnskapsbutikk etter kontekst og hente ut denne konteksten og legge den til prompten. Her er det første steget å lage en stor dokumentbutikk med ustrukturert tekst som kan søkes ved å indeksere teksten og fylle en vektor database. For dette brukes en embettingmodell som ‘ada’ fra OpenAI som tar en del tekst og konverterer den til en n-dimensjonal vektor. Disse embettingene fanger konteksten til teksten, så lignende setninger vil ha embettinger som er nær hverandre i vektorrommet. Når brukeren skriver inn en forespørsel, konverteres også denne forespørselen til en embetting og denne vektoren sammenlignes med vektorene i databasen. Dermed får vi de 5 eller 10 beste sammenlignende tekstdelene for forespørselen som danner konteksten. Forespørselen og konteksten sendes til LLM-en for å svare på spørsmålet på en menneske-lignende måte.

Kjeder:

I dag er Kjeder den mest avanserte og modne teknologien som er omfattende brukt til å bygge LLM-applikasjoner. Kjeder er deterministiske hvor en sekvens av LLM-oppkall kobles sammen med utdata fra ett eller flere LLM-er. For eksempel kunne vi ha et LLM-oppkall som spør en SQL-database og får en liste over kunde-e-poster og sender denne listen til et annet LLM som genererer tilpassede e-poster til kundene. Disse LLM-kjedene kan integreres i eksisterende applikasjonsflyter for å generere mer verdifulle resultater. Ved hjelp av kjeder kunne vi utvide LLM-oppkall med eksterne innmatinger som API-oppkall og integrasjon med kunnskapsgrafer for å gi kontekst. Dessuten, i dag med flere LLM-leverandører tilgjengelige som OpenAI, AWS Bedrock, Google PaLM, MosaicML osv. kunne vi blande og matche LLM-oppkall i kjeder. For kjedeelementer med begrenset intelligens kunne en lavere LLM som ‘gpt3.5-turbo’ brukes, mens for mer avanserte oppgaver ‘gpt4’ kunne brukes. Kjeder gir en abstraksjon for data, applikasjoner og LLM-oppkall.

Agenter:

Agenter er et tema for mange online-debatter, spesielt i forhold til å være kunstig generell intelligens (AGI). Agenter bruker en avansert LLM som ‘gpt4’ eller ‘PaLM2’ for å planlegge oppgaver i stedet for å ha forhåndsbestemte kjeder. Så nå, når det er brukerforespørsler, bestemmer agenten basert på forespørselen hvilke oppgaver som skal kalles og bygger dynamisk en kjede. For eksempel, når vi konfigurerer en agent med en kommando som “varsel kunder når lån APR endres på grunn av regjeringsregulering”. Agentrammen gjør et LLM-oppkall for å bestemme hvilke oppgaver som skal kalles eller kjeder som skal bygges. Her vil det involvere å kalde en app som skraper reguleringssider og trekker ut den siste APR-raten, deretter et LLM-oppkall søker i databasen og trekker ut kunde-e-poster som er berørt og til slutt genereres en e-post for å varsle alle.

Slutt tanker

LLM er en høyt utviklende teknologi og bedre modeller og applikasjoner lanseres hver uke. LLM til Agenter er intelligens-stigen og når vi flytter oss oppover, bygger vi komplekse autonome applikasjoner. Bedre modeller vil bety mer effektive agenter og neste generasjons-applikasjonene vil bli drevet av disse. Tiden vil vise hvor avanserte neste generasjons-applikasjonene vil være og hva mønster de vil bli drevet av.