Hvordan store språkmodeller (LLM) vil drive fremtidens apper

Generativ AI og spesielt språksmaken av den – ChatGPT er overalt. Large Language Model (LLM) teknologi vil spille en betydelig rolle i utviklingen av fremtidige applikasjoner. LLM-er er veldig gode til å forstå språk på grunn av den omfattende forhåndsopplæringen som har blitt gjort for grunnmodeller på billioner av linjer med offentlig eiendomstekst, inkludert kode. Metoder som overvåket finjustering og forsterket læring med menneskelig tilbakemelding (RLHF) gjør disse LLM enda mer effektive når det gjelder å svare på spesifikke spørsmål og samtale med brukere. Når vi kommer inn i neste fase av AI-apper drevet av LLM-er – vil følgende nøkkelkomponenter være avgjørende for disse neste generasjonsapplikasjonene. Figuren nedenfor viser denne progresjonen, og etter hvert som du beveger deg oppover i kjeden, bygger du mer intelligens og autonomi i applikasjonene dine. La oss se på disse ulike nivåene.

LLM ringer:

Dette er direkte anrop til fullføring eller chat-modeller fra en LLM-leverandør som Azure OpenAI eller Google PaLM eller Amazon Bedrock. Disse samtalene har en veldig grunnleggende melding og bruker stort sett det interne minnet til LLM for å produsere utdata.

Eksempel: Be en grunnleggende modell som "text-davinci" om å "fortelle en vits". Du gir svært lite kontekst, og modellen er avhengig av det interne forhåndstrente minnet for å komme opp med et svar (uthevet med grønt i figuren nedenfor – ved å bruke Azure OpenAI).

meldingene:

Neste nivå av intelligens er å legge til mer og mer kontekst i spørsmål. Det er teknikker for rask utvikling som kan brukes på LLM-er som kan få dem til å gi tilpassede svar. For eksempel, når du genererer en e-post til en bruker, kan en viss kontekst om brukeren, tidligere kjøp og atferdsmønstre tjene som spørsmål for å bedre tilpasse e-posten. Brukere som er kjent med ChatGPT vil kjenne til forskjellige metoder for å spørre, som å gi eksempler som brukes av LLM for å bygge respons. Forespørsler forsterker det interne minnet til LLM med ekstra kontekst. Eksempel er nedenfor.

Innebygginger:

Innebygginger tar forespørsler til neste nivå ved å søke etter kontekst i en kunnskapsbutikk og hente den konteksten og legge til ledeteksten. Her er det første trinnet å gjøre en stor dokumentbutikk med ustrukturert tekst søkbar ved å indeksere teksten og fylle ut en vektordatabase. For dette brukes en innbyggingsmodell som 'ada' av OpenAI som tar en bit av tekst og konverterer den til en n-dimensjonal vektor. Disse innebyggingene fanger konteksten til teksten, så lignende setninger vil ha innebygginger som er nær hverandre i vektorrom. Når brukeren skriver inn en spørring, blir den spørringen også konvertert til innebygging og den vektoren matches mot vektorer i databasen. Dermed får vi topp 5 eller 10 samsvarende tekstbiter for søket som danner konteksten. Spørsmålet og konteksten sendes til LLM for å svare på spørsmålet på en menneskelignende måte.

kjeder:

I dag er Chains den mest avanserte og modne teknologien som er tilgjengelig som i stor utstrekning brukes til å bygge LLM-applikasjoner. Kjeder er deterministiske der en sekvens av LLM-anrop kobles sammen med utdata fra en som flyter inn i en av flere LLM-er. For eksempel kan vi ha et LLM-anrop til å spørre en SQL-database og få liste over kunde-e-poster og sende den listen til en annen LLM som vil generere personlig tilpassede e-poster til kunder. Disse LLM-kjedene kan integreres i eksisterende applikasjonsflyter for å generere mer verdifulle resultater. Ved å bruke kjeder kan vi utvide LLM-anrop med eksterne innganger som API-kall og integrasjon med kunnskapsgrafer for å gi kontekst. Dessuten, i dag med flere tilgjengelige LLM-leverandører som OpenAI, AWS Bedrock, Google PaLM, MosaicML, etc. kan vi mikse og matche LLM-anrop til kjeder. For kjedeelementer med begrenset intelligens kan en lavere LLM som "gpt3.5-turbo" brukes, mens for mer avanserte oppgaver kan "gpt4" brukes. Kjeder gir en abstraksjon for data, applikasjoner og LLM-anrop.

agenter:

Agenter er et tema for mange nettdebatter, spesielt med hensyn til kunstig generell intelligens (AGI). Agenter bruker en avansert LLM som "gpt4" eller "PaLM2" for å planlegge oppgaver i stedet for å ha forhåndsdefinerte kjeder. Så nå når det er brukerforespørsler, basert på spørringen, bestemmer agenten hvilket sett med oppgaver som skal ringes og bygger dynamisk en kjede. For eksempel når vi konfigurerer en agent med en kommando som "varsle kundene når lånets ÅOP endres på grunn av oppdatering av myndighetsregulering". Agentrammeverket foretar et LLM-anrop for å bestemme trinnene som skal tas eller kjeder som skal bygges. Her vil det innebære å påkalle en app som skraper regulatoriske nettsteder og trekker ut siste APR-sats, deretter søker et LLM-anrop i databasen og trekker ut kunde-e-poster som er berørt, og til slutt genereres en e-post for å varsle alle.

Final Thoughts

LLM er en teknologi i høy utvikling og bedre modeller og applikasjoner lanseres hver uke. LLM to Agents er etterretningsstigen, og etter hvert som vi beveger oss opp, bygger vi komplekse autonome applikasjoner. Bedre modeller vil bety mer effektive agenter, og neste generasjons applikasjoner vil bli drevet av disse. Tiden vil vise hvor avanserte neste generasjons applikasjoner vil være og hvilke mønstre de vil bli drevet av.