Hur stora språkmodeller (LLM) kommer att driva framtidens appar

Generativ AI och särskilt språkvarianten av den – ChatGPT är överallt. Stora språkmodellteknologin (LLM) kommer att spela en betydande roll i utvecklingen av framtida applikationer. LLM:er är mycket bra på att förstå språk på grund av den omfattande förträning som har gjorts för grundmodeller på trillions av rader med offentligt tillgänglig text, inklusive kod. Metoder som övervakad finjustering och förstärkt inlärning med mänsklig feedback (RLHF) gör dessa LLM:er ännu mer effektiva i att besvara specifika frågor och konversera med användare. När vi går in i nästa fas av AI-applikationer som drivs av LLM:er – följande nyckelkomponenter kommer att vara avgörande för dessa nästa generationsapplikationer. Figuren nedan visar denna progression, och när du flyttar dig uppåt i kedjan, bygger du mer intelligens och autonomi i dina applikationer. Låt oss titta på dessa olika nivåer.

LLM-samtal:

Dessa är direkt samtal till slutförande- eller chatsmodeller av en LLM-leverantör som Azure OpenAI eller Google PaLM eller Amazon Bedrock. Dessa samtal har en mycket grundläggande prompt och använder i huvudsak den interna minnet i LLM för att producera utdata.

Exempel: Att fråga en grundläggande modell som “text-davinci” att “berätta en skämt”. Du ger mycket lite kontext och modellen förlitar sig på sin interna förtränade minne för att komma med ett svar (markerat i grönt i figuren nedan – med Azure OpenAI).

Prompt:

Nästa nivå av intelligens ligger i att lägga till mer och mer kontext i prompten. Det finns tekniker för promptteknik som kan tillämpas på LLM:er som kan göra dem ge anpassade svar. Till exempel, när du genererar ett e-postmeddelande till en användare, kan viss kontext om användaren, tidigare inköp och beteendemönster tjäna som en prompt för att bättre anpassa e-postmeddelandet. Användare som är bekanta med ChatGPT känner till olika metoder för att prompta, som att ge exempel som används av LLM för att bygga svaret. Prompten kompletterar den interna minnet i LLM med ytterligare kontext. Exempel är nedan.

Infättning:

Infättning tar prompten till nästa nivå genom att söka i en kunskapsbutik efter kontext och hämta den kontexten och lägga till den i prompten. Här är det första steget att skapa en stor dokumentbutik med ostrukturerad text som kan sökas genom att indexera texten och fylla i en vektordatabas. För detta används en infättningsmodell som “ada” av OpenAI som tar en bit text och omvandlar den till en n-dimensionell vektor. Dessa infättningar fångar kontexten av texten, så liknande meningar kommer att ha infättningar som ligger nära varandra i vektorrummet. När användaren anger en fråga, omvandlas den frågan också till en infättning och den vektorn matchas mot vektorer i databasen. Således får vi de fem eller tio bästa matchande textbitarna för frågan som utgör kontexten. Frågan och kontexten skickas till LLM för att besvara frågan på ett mänskligt sätt.

Kedjor:

Idag är kedjor den mest avancerade och mogna teknologin som används för att bygga LLM-applikationer. Kedjor är deterministiska där en sekvens av LLM-samtal är sammankopplade med utdata från ett som flyter in i ett eller flera LLM:er. Till exempel kunde vi ha ett LLM-samtal som frågar en SQL-databas och hämtar en lista med kund-e-postmeddelanden och skickar den listan till ett annat LLM som genererar personliga e-postmeddelanden till kunderna. Dessa LLM-kedjor kan integreras i befintliga applikationsflöden för att generera mer värdefulla resultat. Med kedjor kunde vi komplettera LLM-samtal med externa indata som API-samtal och integration med kunskapsgrafer för att tillhandahålla kontext. Dessutom, idag med flera LLM-leverantörer tillgängliga som OpenAI, AWS Bedrock, Google PaLM, MosaicML etc., kunde vi blanda och matcha LLM-samtal i kedjor. För kedjelement med begränsad intelligens kunde en lägre LLM som “gpt3.5-turbo” användas medan för mer avancerade uppgifter “gpt4” kunde användas. Kedjor ger en abstraktion för data, applikationer och LLM-samtal.

Agenter:

Agenter är ett ämne för många online-debatter, särskilt i fråga om att vara artificiell allmän intelligens (AGI). Agenter använder en avancerad LLM som “gpt4” eller “PaLM2” för att planera uppgifter snarare än att ha fördefinierade kedjor. Så nu, när det finns användarbegäranden, bestämmer agenten baserat på frågan vilken uppsättning uppgifter som ska anropas och bygger dynamiskt en kedja. Till exempel, när vi konfigurerar en agent med ett kommando som “meddela kunder när lån-räntan ändras på grund av regeringsreglering”. Agentramverket gör ett LLM-samtal för att bestämma stegen att ta eller kedjor att bygga. Här kommer det att innefatta att anropa en app som skrapar regeringswebbplatser och extraherar den senaste räntesatsen, sedan ett LLM-samtal som söker i databasen och extraherar kund-e-postmeddelanden som påverkas och slutligen genereras ett e-postmeddelande för att meddela alla.

Slutliga tankar

LLM är en mycket utvecklande teknologi och bättre modeller och applikationer lanseras varje vecka. LLM till agenter är intelligensstegen och när vi flyttar oss uppåt, bygger vi komplexa autonoma applikationer. Bättre modeller kommer att innebära mer effektiva agenter och nästa generationsapplikationer kommer att drivas av dessa. Tiden kommer att visa hur avancerade nästa generationsapplikationer kommer att vara och vilka mönster de kommer att drivas av.