Hoe Large Language Models (LLM) de apps van de toekomst zullen aandrijven

Generatieve AI en met name de taalvariant ervan – ChatGPT is overal. Large Language Model (LLM) technologie zal een significante rol spelen in de ontwikkeling van toekomstige applicaties. LLM’s zijn erg goed in het begrijpen van taal vanwege de uitgebreide voorafgaande training die is gedaan voor foundation models op trillions van regels van openbare domein tekst, inclusief code. Methoden zoals supervised fine-tuning en versterkte leerprocessen met menselijke feedback (RLHF) maken deze LLM’s nog efficiënter in het beantwoorden van specifieke vragen en converseren met gebruikers. Nu we de volgende fase van AI-apps aangedreven door LLM’s ingaan – zullen de volgende sleutelcomponenten cruciaal zijn voor deze next-gen applicaties. De onderstaande afbeelding toont deze progressie, en naarmate je verder gaat in de keten, bouw je meer intelligentie en autonomie in je applicaties. Laten we naar deze verschillende niveaus kijken.

LLM calls:

Dit zijn directe calls naar completion- of chatmodellen door een LLM-provider zoals Azure OpenAI of Google PaLM of Amazon Bedrock. Deze calls hebben een zeer basisprompt en gebruiken meestal het interne geheugen van de LLM om de output te produceren.

Voorbeeld: Vragen aan een basismodel zoals “text-davinci” om “een grap te vertellen”. Je geeft weinig context en het model vertrouwt op zijn interne vooraf getrainde geheugen om een antwoord te geven (gemarkeerd in groen in de onderstaande afbeelding – met Azure OpenAI).

Prompts:

Het volgende niveau van intelligentie ligt in het toevoegen van meer en meer context aan prompts. Er zijn technieken voor prompt engineering die kunnen worden toegepast op LLM’s die hen kunnen laten geven aangepaste antwoorden. Bijvoorbeeld, wanneer een e-mail gegenereerd wordt voor een gebruiker, kan sommige context over de gebruiker, eerdere aankopen en gedragspatronen dienen als prompt om de e-mail beter aan te passen. Gebruikers die bekend zijn met ChatGPT weten verschillende methoden van prompting, zoals het geven van voorbeelden die door de LLM worden gebruikt om een antwoord te bouwen. Prompts versterken het interne geheugen van de LLM met extra context. Voorbeeld is hieronder.

Embeddings:

Embeddings nemen prompts naar het volgende niveau door een kennisopslag te doorzoeken naar context en die context te verkrijgen en toe te voegen aan de prompt. Hier is de eerste stap om een grote documentenopslag met ongestructureerde tekst doorzoekbaar te maken door de tekst te indexeren en een vector database te vullen. Hiervoor wordt een embeddingmodel zoals ‘ada’ van OpenAI gebruikt dat een stuk tekst omzet in een n-dimensionale vector. Deze embeddings vangen de context van de tekst, dus vergelijkbare zinnen zullen embeddings hebben die dicht bij elkaar liggen in de vectorruimte. Wanneer een gebruiker een query invoert, wordt die query ook omgezet in een embedding en die vector wordt gematcht tegen vectoren in de database. Zo krijgen we de top 5 of 10 overeenkomende tekstfragmenten voor de query die de context vormen. De query en context worden doorgegeven aan de LLM om de vraag op een menselijke manier te beantwoorden.

Chains:

Vandaag de dag is Chains de meest geavanceerde en volwassen technologie die uitgebreid wordt gebruikt om LLM-applicaties te bouwen. Chains zijn deterministisch waar een reeks van LLM-calls wordt samengevoegd met output van de ene LLM die naar een of meer LLM’s stroomt. Bijvoorbeeld, we zouden een LLM-call kunnen hebben die een SQL-database raadpleegt en een lijst van klant-e-mails ophaalt en die lijst doorgeeft aan een andere LLM die persoonlijke e-mails naar klanten zal genereren. Deze LLM-chains kunnen worden geïntegreerd in bestaande applicatieflows om meer waardevolle resultaten te genereren. Met chains kunnen we LLM-calls versterken met externe inputs zoals API-calls en integratie met kennisgraphen om context te bieden. Bovendien, vandaag de dag met meerdere LLM-providers beschikbaar zoals OpenAI, AWS Bedrock, Google PaLM, MosaicML, etc. kunnen we LLM-calls combineren in chains. Voor chain-elementen met beperkte intelligentie kan een lagere LLM zoals ‘gpt3.5-turbo’ worden gebruikt, terwijl voor meer geavanceerde taken ‘gpt4’ kan worden gebruikt. Chains geven een abstractie voor data, applicaties en LLM-calls.

Agents:

Agents is een onderwerp van veel online debatten, met name met betrekking tot kunstmatige algemene intelligentie (AGI). Agents gebruiken een geavanceerde LLM zoals ‘gpt4’ of ‘PaLM2’ om taken te plannen in plaats van vooraf gedefinieerde chains te hebben. Dus, wanneer er gebruikersaanvragen zijn, besluit de agent op basis van de query welke set taken moet worden aangeroepen en bouwt dynamisch een chain. Bijvoorbeeld, wanneer we een agent configureren met een opdracht zoals “klanten informeren wanneer de rente van de lening verandert vanwege een update van de regelgeving van de overheid”. Het agentframework maakt een LLM-call om te beslissen over de stappen die moeten worden genomen of chains die moeten worden gebouwd. Hierbij zal het betrokken zijn bij het aanroepen van een app die regulatorische websites scrapet en de laatste APR-tarief extracteert, dan een LLM-call zoekt in de database en klant-e-mails extracteert die worden beïnvloed en ten slotte een e-mail genereren om iedereen te informeren.

Slotgedachten

LLM is een snel evoluerende technologie en betere modellen en applicaties worden elke week gelanceerd. LLM naar Agents is de intelligentieladder en naarmate we verder gaan, bouwen we complexe autonome applicaties. Betere modellen zullen effectievere agents betekenen en de next-gen applicaties zullen worden aangedreven door deze. De tijd zal laten zien hoe geavanceerd de next-gen applicaties zullen zijn en welke patronen ze zullen worden aangedreven.