ChatGPT & Advanced Prompt Engineering: Guida all’evoluzione dell’IA

OpenAI ha svolto un ruolo fondamentale nello sviluppo di strumenti rivoluzionari come OpenAI Gym, progettato per l’addestramento di algoritmi di rinforzo, e modelli GPT-n. L’attenzione si concentra anche su DALL-E, un modello di intelligenza artificiale che crea immagini a partire da input testuali. Uno di questi modelli che ha suscitato notevole attenzione è ChatGPT di OpenAI, un esempio luminoso nel campo dei Large Language Models.

GPT-4: Prompt Engineering

ChatGPT ha trasformato il panorama dei chatbot, offrendo risposte simili a quelle umane agli input degli utenti e ampliando le sue applicazioni in vari ambiti – dalla sviluppo e testing del software alla comunicazione aziendale, e persino alla creazione di poesie.

Nelle mani di aziende e individui, GPT-4, ad esempio, potrebbe servire come una riserva di conoscenza inesauribile, proficiente in materie che vanno dalla Matematica e dalla Biologia agli Studi Giuridici. Tali modelli di intelligenza artificiale sofisticati e accessibili sono pronti a ridefinire il futuro del lavoro, dell’apprendimento e della creatività.

I modelli generativi come GPT-4 possono produrre nuovi dati in base agli input esistenti. Questo attributo distintivo consente loro di intraprendere compiti diversi, tra cui la generazione di testo, immagini, musica e video.

Nel contesto di ChatGPT e modelli OpenAI, un prompt è l’input che gli utenti forniscono ai modelli, di solito sotto forma di testo. I prompt servono come mezzo principale per controllare l’output generato da questi modelli, rendendoli cruciali per conversazioni di successo e rilevanti.

L’impatto della qualità del prompt

Utilizzare prompt ben definiti è la chiave per intraprendere conversazioni utili e significative con i sistemi di intelligenza artificiale. I prompt mal definiti possono risultare in output che non sono utili all’utente e possono addirittura portare a contenuti fuorvianti.

Per dimostrare l’impatto della qualità del prompt, confrontiamo due prompt diversi forniti a ChatGPT. Il primo prompt, mal definito e che presume una conoscenza pregressa, genera una risposta potenzialmente non utile per l’utente. D’altra parte, il secondo prompt fornisce più contesto ed esempi, garantendo una risposta più rilevante e comprensibile.

Prompt 1: “Parlami delle Reti Neurali Convoluzionali.”

Risposta 1: “Le Reti Neurali Convoluzionali (CNN) sono reti neurali a multi-layer perceptron che consistono di layer completamente connessi e layer di pooling. Sono comunemente utilizzate in compiti di riconoscimento di immagini. Il processo coinvolge l’applicazione di filtri alle immagini di input e il downscaling utilizzando layer di pooling.”

Prompt 2: “Vorrei imparare sulle Reti Neurali Convoluzionali, ma non ho alcuna conoscenza pregressa di Reti Neurali Artificiali. Puoi per favore fornire una spiegazione adatta a un principiante e un esempio di come le CNN siano utilizzate nel riconoscimento di immagini?”

Risposta 2: “Le Reti Neurali Convoluzionali (CNN) sono un tipo di rete neurale principalmente utilizzato per compiti di riconoscimento di immagini. A differenza di altre reti neurali, esse sfruttano layer convoluzionali e layer di pooling per elaborare le immagini. Immagina di avere un’immagine di un gatto. Le CNN possono identificare diverse caratteristiche nell’immagine, come baffi, orecchie e coda, applicando filtri e campionando l’immagine utilizzando layer di pooling. Questo processo rende le CNN altamente efficaci per il riconoscimento di oggetti nelle immagini.”

Confrontando le due risposte, è evidente che un prompt ben definito porta a una risposta più rilevante e utile all’utente. La progettazione e l’ingegneria dei prompt sono discipline in crescita che mirano a ottimizzare la qualità dell’output dei modelli di intelligenza artificiale come ChatGPT.

Nelle sezioni successive di questo articolo, esploreremo il regno di metodologie avanzate finalizzate a raffinare i Large Language Models (LLM), come le tecniche e le tattiche di prompt engineering. Queste includono l’apprendimento a pochi esempi, ReAct, catena di pensiero, RAG e altro.

Tecniche di ingegneria avanzate

Prima di procedere, è importante capire un problema chiave con i LLM, noto come ‘allucinazione’. Nel contesto dei LLM, ‘allucinazione’ indica la tendenza di questi modelli a generare output che potrebbero sembrare ragionevoli ma non sono radicati nella realtà fattuale o nel contesto di input fornito.

Questo problema è stato messo in evidenza in un recente caso giudiziario in cui un avvocato difensore ha utilizzato ChatGPT per la ricerca giuridica. Lo strumento di intelligenza artificiale, fallendo a causa del suo problema di allucinazione, ha citato casi giuridici inesistenti. Questo passo falso ha avuto ripercussioni significative, causando confusione e minando la credibilità durante i procedimenti. Questo incidente serve come un promemoria vivido della necessità urgente di affrontare il problema dell’allucinazione nei sistemi di intelligenza artificiale.

La nostra esplorazione delle tecniche di prompt engineering mira a migliorare questi aspetti dei LLM. Migliorando la loro efficienza e sicurezza, apriamo la strada a innovative applicazioni come l’estrazione di informazioni. Inoltre, ciò apre le porte a un’integrazione senza soluzione di continuità dei LLM con strumenti e fonti di dati esterni, ampliando l’ambito delle loro potenziali applicazioni.

Apprendimento a zero e pochi esempi: ottimizzazione con esempi

I Modelli di Trasformatori Pre-addestrati Generativi (GPT-3) hanno segnato un punto di svolta importante nello sviluppo dei modelli di intelligenza artificiale generativa, poiché hanno introdotto il concetto di ‘apprendimento a pochi esempi‘. Questo metodo è stato un gioco di svolta a causa della sua capacità di funzionare efficacemente senza la necessità di un addestramento completo. Il framework GPT-3 è discusso nel paper “I modelli linguistici sono apprendisti a pochi esempi” dove gli autori dimostrano come il modello eccella in vari casi d’uso senza necessità di set di dati personalizzati o codice.

A differenza dell’addestramento fine, che richiede uno sforzo continuo per risolvere vari casi d’uso, i modelli a pochi esempi dimostrano una maggiore adattabilità a una gamma più ampia di applicazioni. Sebbene l’addestramento fine possa fornire soluzioni robuste in alcuni casi, può essere costoso su larga scala, rendendo l’uso di modelli a pochi esempi un approccio più pratico, specialmente quando integrato con l’ingegneria dei prompt.

Immagina di provare a tradurre l’inglese in francese. Nell’apprendimento a pochi esempi, forniresti a GPT-3 alcuni esempi di traduzione come “sea otter -> loutre de mer”. GPT-3, essendo il modello avanzato che è, è quindi in grado di continuare a fornire traduzioni accurate.

In apprendimento a zero esempi, non forniresti alcun esempio, e GPT-3 sarebbe comunque in grado di tradurre l’inglese in francese in modo efficace.

Il termine ‘apprendimento a pochi esempi’ deriva dall’idea che il modello riceva un numero limitato di esempi da cui ‘imparare’. È importante notare che ‘imparare’ in questo contesto non implica l’aggiornamento dei parametri o dei pesi del modello, ma piuttosto influenza le prestazioni del modello.

Apprendimento a pochi esempi come dimostrato nel paper GPT-3

L’apprendimento a zero esempi porta questo concetto un passo più in là. Nell’apprendimento a zero esempi, non vengono forniti esempi di completamento del compito nel modello. Il modello è atteso a eseguire bene in base al suo addestramento iniziale, rendendo questa metodologia ideale per scenari di risposta a domande aperte come ChatGPT.

In molti casi, un modello proficiente nell’apprendimento a zero esempi può eseguire bene quando viene fornito con pochi esempi o anche un solo esempio. Questa capacità di passare tra zero, singolo e pochi esempi sottolinea l’adattabilità dei grandi modelli, aumentando le loro potenziali applicazioni in vari domini.

I metodi di apprendimento a zero esempi stanno diventando sempre più comuni. Questi metodi sono caratterizzati dalla loro capacità di riconoscere oggetti non visti durante l’addestramento. Ecco un esempio pratico di un prompt a pochi esempi:

"Traduci le seguenti frasi inglesi in francese:

'sea otter' si traduce in 'loutre de mer'
'sky' si traduce in 'ciel'
"Come si traduce 'cloud' in francese?"

Fornendo al modello alcuni esempi e poi ponendo una domanda, possiamo effettivamente guidare il modello a generare l’output desiderato. In questo caso, GPT-3 tradurrebbe probabilmente correttamente ‘cloud’ in ‘nuage’ in francese.

Esploreremo ulteriormente le sfumature dell’ingegneria dei prompt e il suo ruolo essenziale nell’ottimizzazione delle prestazioni del modello durante l’inferenza. Esamineremo anche come può essere utilizzato efficacemente per creare soluzioni efficienti e scalabili in una vasta gamma di casi d’uso.

Mentre esploriamo ulteriormente la complessità delle tecniche di ingegneria dei prompt nei modelli GPT, è importante sottolineare il nostro ultimo post ‘Guida essenziale all’ingegneria dei prompt in ChatGPT‘. Questa guida fornisce approfondimenti sulle strategie per istruire i modelli di intelligenza artificiale in modo efficace in una miriade di casi d’uso.

Nelle nostre discussioni precedenti, abbiamo esaminato metodi di prompt fondamentali per grandi modelli linguistici (LLM) come l’apprendimento a zero e pochi esempi, nonché l’istruzione del prompt. È cruciale padroneggiare queste tecniche per affrontare le sfide più complesse dell’ingegneria dei prompt che esploreremo qui.

L’apprendimento a pochi esempi può essere limitato a causa della finestra di contesto limitata della maggior parte dei LLM. Inoltre, senza le adeguate salvaguardie, i LLM possono essere fuorviati nel fornire output potenzialmente dannosi. Inoltre, molti modelli lottano con compiti di ragionamento o nell’eseguire istruzioni multi-step.

Data questa limitazione, la sfida consiste nell’utilizzare i LLM per affrontare compiti complessi. Una soluzione ovvia potrebbe essere quella di sviluppare LLM più avanzati o raffinare quelli esistenti, ma ciò potrebbe richiedere uno sforzo sostanziale. Quindi, sorge la domanda: come possiamo ottimizzare i modelli attuali per una migliore risoluzione dei problemi?

Altrettanto affascinante è l’esplorazione di come questa tecnica si interfaccia con applicazioni creative in Unite AI’s ‘Mastering AI Art: A Concise Guide to Midjourney and Prompt Engineering‘ che descrive come la fusione di arte e intelligenza artificiale possa portare a opere d’arte mozzafiato.

Prompting a catena di pensiero

Il prompting a catena di pensiero sfrutta le proprietà auto-regressive innate dei grandi modelli linguistici (LLM), che eccellono nel prevedere la prossima parola in una data sequenza. Facendo in modo che il modello spieghi il suo processo di pensiero, induce una generazione di idee più approfondita e metodica, che tende ad allinearsi strettamente con informazioni accurate. Questo allineamento deriva dalla tendenza del modello a elaborare e fornire informazioni in modo pensieroso e ordinato, simile a un esperto umano che accompagna un ascoltatore attraverso un concetto complesso. Una semplice affermazione come “spiegami passo dopo passo come…” è spesso sufficiente per innescare questa produzione più verbosa e dettagliata.

Prompting a catena di pensiero a zero esempi

Mentre il prompting a catena di pensiero convenzionale richiede un pre-addestramento con dimostrazioni, un’area emergente è il prompting a catena di pensiero a zero esempi. Questo approccio, introdotto da Kojima et al. (2022), aggiunge innovativamente la frase “Pensiamo passo dopo passo” al prompt originale.

Creiamo un prompt avanzato in cui ChatGPT è incaricato di riassumere i punti chiave da ricerche e articoli di intelligenza artificiale e NLP.

In questa dimostrazione, useremo la capacità del modello di comprendere e riassumere informazioni complesse da testi accademici. Utilizzando l’approccio di apprendimento a pochi esempi, insegneremo a ChatGPT a riassumere i risultati chiave da ricerche e articoli di intelligenza artificiale e NLP:

1. Titolo del paper: "L'attenzione è tutto ciò di cui hai bisogno"
Riassunto: "Introdusse il modello transformer, enfatizzando l'importanza dei meccanismi di attenzione rispetto ai layer ricorrenti per i compiti di transduzione sequenziale."

2. Titolo del paper: "BERT: pre-addestramento di trasformatori bidirezionali profondi per la comprensione del linguaggio"
Riassunto: "Introdusse BERT, dimostrando l'efficacia del pre-addestramento di modelli bidirezionali profondi, raggiungendo risultati di stato dell'arte in vari compiti NLP."

Ora, con il contesto di questi esempi, riassumi i punti chiave del seguente paper:

Titolo del paper: "Ingegneria dei prompt in Large Language Models: un esame"

Questo prompt non solo mantiene una chiara catena di pensiero ma utilizza anche un approccio di apprendimento a pochi esempi per guidare il modello. Si collega ai nostri keyword concentrandosi sui domini dell’IA e dell’NLP, assegnando specificamente a ChatGPT il compito di eseguire un’operazione complessa legata all’ingegneria dei prompt: riassumere articoli di ricerca.

ReAct Prompt

ReAct, o “Ragiona e Agisci”, è stato introdotto da Google nel paper “ReAct: sinergizzare ragionamento e azione nei modelli linguistici“, e ha rivoluzionato il modo in cui i modelli linguistici interagiscono con un compito, facendo in modo che il modello generi dinamicamente sia tracce di ragionamento verbale che azioni specifiche del compito.