Come i Large Language Model (LLM) saranno la spina dorsale delle App del futuro

L’AI generativa e in particolare la sua variante linguistica – ChatGPT è ovunque. La tecnologia dei Large Language Model (LLM) svolgerà un ruolo significativo nello sviluppo delle applicazioni future. Gli LLM sono molto bravi a comprendere il linguaggio a causa dell’ampio pre-addestramento che è stato fatto per i modelli di base su trilioni di righe di testo di dominio pubblico, compreso il codice. Metodi come il fine-tuning supervisionato e l’apprendimento con feedback umano (RLHF) rendono questi LLM ancora più efficienti nel rispondere a domande specifiche e conversare con gli utenti. Mentre entriamo nella prossima fase di app AI alimentate da LLM – i seguenti componenti chiave saranno cruciali per queste applicazioni di prossima generazione. La figura seguente mostra questa progressione, e man mano che si sale la catena, si costruiscono applicazioni più intelligenti e autonome. Vediamo questi vari livelli.

Chiamate LLM:

Queste sono chiamate dirette ai modelli di completamento o di chat da parte di un fornitore LLM come Azure OpenAI o Google PaLM o Amazon Bedrock. Queste chiamate hanno un prompt molto basilare e utilizzano principalmente la memoria interna dell’LLM per produrre l’output.

Esempio: Chiedere a un modello di base come “text-davinci” di “raccontare una barzelletta”. Si fornisce pochissimo contesto e il modello si affida alla sua memoria pre-addestrata interna per fornire una risposta (evidenziata in verde nella figura seguente – utilizzando Azure OpenAI).

Prompt:

Il livello successivo di intelligenza consiste nell’aggiungere sempre più contesto ai prompt. Esistono tecniche di progettazione dei prompt che possono essere applicate agli LLM per farli fornire risposte personalizzate. Ad esempio, quando si genera un’e-mail a un utente, alcuni contesti sull’utente, gli acquisti precedenti e i modelli di comportamento possono servire come prompt per personalizzare meglio l’e-mail. Gli utenti che conoscono ChatGPT conosceranno diversi metodi di prompt, come fornire esempi utilizzati dall’LLM per costruire la risposta. I prompt integrano la memoria interna dell’LLM con ulteriore contesto. Esempio segue.

Embedding:

Gli embedding portano i prompt al livello successivo cercando un archivio di conoscenze per il contesto e ottenendo quel contesto e aggiungendolo al prompt. Qui, il primo passo è creare un grande archivio di documenti con testo non strutturato rendendolo cercabile indicizzando il testo e popolando un database di vettori. Per questo si utilizza un modello di embedding come ‘ada’ di OpenAI che prende un pezzo di testo e lo converte in un vettore n-dimensionale. Questi embedding catturano il contesto del testo, quindi le frasi simili avranno embedding che sono vicini l’uno all’altro nello spazio vettoriale. Quando l’utente immette una query, anche la query viene convertita in embedding e quel vettore viene confrontato con i vettori nel database. Così, otteniamo i 5 o 10 chunk di testo di matching più adatti per la query che formano il contesto. La query e il contesto vengono passati all’LLM per rispondere alla domanda in modo umano.

Catene:

Oggi le Catene sono la tecnologia più avanzata e matura disponibile che viene ampiamente utilizzata per costruire applicazioni LLM. Le Catene sono deterministiche dove una sequenza di chiamate LLM viene unita con l’output da uno che fluisce in uno o più LLM. Ad esempio, potremmo avere una chiamata LLM che interroga un database SQL e ottiene un elenco di indirizzi e-mail dei clienti e invia quell’elenco a un altro LLM che genererà e-mail personalizzate ai clienti. Queste catene LLM possono essere integrate nei flussi di applicazioni esistenti per generare risultati più preziosi. Utilizzando le catene, potremmo integrare le chiamate LLM con input esterni come chiamate API e integrazione con grafi di conoscenza per fornire contesto. Inoltre, oggi con più fornitori di LLM disponibili come OpenAI, AWS Bedrock, Google PaLM, MosaicML, ecc. potremmo combinare e abbinare chiamate LLM in catene. Per gli elementi della catena con intelligenza limitata, un LLM più basso come ‘gpt3.5-turbo’ potrebbe essere utilizzato, mentre per compiti più avanzati ‘gpt4’ potrebbe essere utilizzato. Le catene forniscono un’astrazione per i dati, le applicazioni e le chiamate LLM.

Agenti:

Gli Agenti sono un argomento di molti dibattiti online, in particolare con rispetto all’intelligenza artificiale generale (AGI). Gli Agenti utilizzano un LLM avanzato come ‘gpt4’ o ‘PaLM2’ per pianificare attività invece di avere catene predefinite. Quindi, quando ci sono richieste degli utenti, in base alla query l’agente decide quali set di attività chiamare e costruisce dinamicamente una catena. Ad esempio, quando configuriamo un agente con un comando come “notificare i clienti quando il tasso APR del prestito cambia a causa dell’aggiornamento della regolamentazione del governo”. Il framework dell’agente effettua una chiamata LLM per decidere quali passaggi intraprendere o quali catene costruire. Qui coinvolgerà l’invocazione di un’app che raschia i siti web regolamentari e estrae il tasso APR più recente, quindi una chiamata LLM cerca nel database e estrae gli indirizzi e-mail dei clienti che sono interessati e infine viene generata un’e-mail per notificare tutti.

Pensieri finali

LLM è una tecnologia in rapida evoluzione e migliori modelli e applicazioni vengono lanciati ogni settimana. LLM agli Agenti è la scala dell’intelligenza e man mano che saliamo, costruiamo applicazioni autonome complesse. Migliori modelli significheranno agenti più efficaci e le applicazioni di prossima generazione saranno alimentate da questi. Il tempo dirà quanto avanzate saranno le prossime applicazioni di generazione e quali pattern saranno alimentati.