ChatGPT e Prompt Engineering Avanzato: Guidare l’Evoluzione dell’Intelligenza Artificiale

OpenAI ha svolto un ruolo fondamentale nello sviluppo di strumenti rivoluzionari come OpenAI Gym, progettato per l’addestramento di algoritmi di rinforzo, e modelli GPT-n. La spotlight è anche su DALL-E, un modello di intelligenza artificiale che crea immagini a partire da input testuali. Uno di questi modelli che ha ricevuto una notevole attenzione è ChatGPT di OpenAI, un esempio luminoso nel campo dei Large Language Model.

GPT-4: Prompt Engineering

ChatGPT ha trasformato il paesaggio dei chatbot, offrendo risposte simili a quelle umane agli input degli utenti e ampliando le sue applicazioni in vari domini – dalla sviluppo e testing del software alla comunicazione aziendale, e persino alla creazione di poesia.

Nelle mani di aziende e individui, GPT-4, ad esempio, potrebbe servire come una riserva inesauribile di conoscenza, proficiente in materie che vanno dalla Matematica alla Biologia, fino agli Studi Giuridici. Tali modelli di intelligenza artificiale sofisticati e accessibili sono pronti a ridefinire il futuro del lavoro, dell’apprendimento e della creatività.

I modelli generativi come GPT-4 possono produrre nuovi dati in base agli input esistenti. Questo attributo distintivo consente loro di intraprendere compiti diversi, tra cui la generazione di testo, immagini, musica e video.

Nel contesto di ChatGPT e modelli OpenAI, un prompt è l’input che gli utenti forniscono ai modelli, solitamente sotto forma di testo. I prompt servono come il mezzo principale per controllare l’output generato da questi modelli, rendendoli cruciali per conversazioni di successo e rilevanti.

L’Impatto della Qualità del Prompt

Utilizzare prompt ben definiti è la chiave per intraprendere conversazioni utili e significative con i sistemi di intelligenza artificiale. I prompt mal definiti possono portare a output che non sono utili per l’utente e possono addirittura condurre a contenuti fuorvianti.

Per dimostrare l’impatto della qualità del prompt, confrontiamo due prompt diversi forniti a ChatGPT. Il primo prompt, mal definito e che presume una conoscenza pregressa, genera una risposta potenzialmente non utile per l’utente. D’altra parte, il secondo prompt fornisce più contesto ed esempi, garantendo una risposta più rilevante e comprensibile.

Prompt 1: “Parlami delle Reti Neurali Convolutive.”

Risposta 1: “Le Reti Neurali Convolutive (CNN) sono reti neurali a multi-layer perceptron che consistono in layer completamente connessi e layer di pooling. Sono comunemente utilizzate in compiti di riconoscimento di immagini. Il processo coinvolge l’applicazione di filtri alle immagini di input e il downscaling utilizzando layer di pooling.”

Prompt 2: “Vorrei imparare sulle Reti Neurali Convolutive, ma non ho conoscenze pregresse sui Reti Neurali Artificiali. Puoi fornire una spiegazione per principianti e un esempio di come le CNN siano utilizzate nel riconoscimento di immagini?”

Risposta 2: “Le Reti Neurali Convolutive (CNN) sono un tipo di rete neurale principalmente utilizzata per compiti di riconoscimento di immagini. A differenza di altre reti neurali, esse sfruttano layer convolutive e layer di pooling per elaborare le immagini. Immagina di avere un’immagine di un gatto. Le CNN possono identificare diverse caratteristiche nell’immagine, come i baffi, le orecchie e la coda, applicando filtri e ridimensionando l’immagine utilizzando layer di pooling. Questo processo rende le CNN altamente efficaci nel riconoscimento di oggetti nelle immagini.”

Confrontando le due risposte, è evidente che un prompt ben definito conduce a una risposta più rilevante e utile per l’utente. La progettazione e l’ingegneria dei prompt sono discipline in crescita che mirano a ottimizzare la qualità dell’output dei modelli di intelligenza artificiale come ChatGPT.

Nei prossimi paragrafi di questo articolo, esploreremo il regno delle metodologie avanzate finalizzate a raffinare i Large Language Model (LLM), come le tecniche di prompt engineering e le tattiche. Queste includono l’apprendimento a pochi esempi, ReAct, chain-of-thought, RAG e altro.

Tecniche di Ingegneria Avanzate

Prima di procedere, è importante capire un problema chiave con i LLM, noto come ‘allucinazione’. Nel contesto dei LLM, ‘allucinazione’ significa la tendenza di questi modelli a generare output che potrebbero sembrare ragionevoli ma non sono radicati nella realtà fattuale o nel contesto di input fornito.

Questo problema è stato messo in evidenza in un recente caso giudiziario in cui un avvocato difensore ha utilizzato ChatGPT per la ricerca giuridica. Lo strumento di intelligenza artificiale, fallendo a causa del suo problema di allucinazione, ha citato casi giuridici inesistenti. Questo passo falso ha avuto conseguenze significative, causando confusione e minando la credibilità durante i procedimenti. Questo incidente serve come un promemoria urgente della necessità di affrontare il problema dell’allucinazione nei sistemi di intelligenza artificiale.

La nostra esplorazione delle tecniche di prompt engineering mira a migliorare questi aspetti dei LLM. Migliorando la loro efficienza e sicurezza, apriamo la strada a applicazioni innovative come l’estrazione di informazioni. Inoltre, ciò consente di integrare senza problemi i LLM con strumenti esterni e fonti di dati, ampliando la gamma delle loro potenziali applicazioni.

Apprendimento a Zero e a Pochi Esempi: Ottimizzazione con Esempi

I Generative Pretrained Transformers (GPT-3) hanno segnato un punto di svolta importante nello sviluppo dei modelli di intelligenza artificiale generativa, introducendo il concetto di ‘apprendimento a pochi esempi‘. Questo metodo è stato un gioco di svolta a causa della sua capacità di funzionare efficacemente senza la necessità di un addestramento approfondito. Il framework GPT-3 è discusso nel paper “I Modelli Linguistici sono Apprendisti a Pochi Esempi“, dove gli autori dimostrano come il modello eccella in vari casi d’uso senza richiedere dataset personalizzati o codice.

A differenza dell’addestramento, che richiede uno sforzo continuo per risolvere vari casi d’uso, i modelli a pochi esempi dimostrano una maggiore adattabilità a una gamma più ampia di applicazioni. Sebbene l’addestramento possa fornire soluzioni robuste in alcuni casi, può essere costoso su larga scala, rendendo l’uso dei modelli a pochi esempi un approccio più pratico, specialmente quando integrato con la progettazione dei prompt.

Immagina di cercare di tradurre dall’inglese al francese. Nell’apprendimento a pochi esempi, forniresti a GPT-3 alcuni esempi di traduzioni come “sea otter -> loutre de mer”. GPT-3, essendo il modello avanzato che è, è quindi in grado di continuare a fornire traduzioni accurate. Nell’apprendimento a zero esempi, non forniresti alcun esempio, e GPT-3 sarebbe comunque in grado di tradurre dall’inglese al francese in modo efficace.

Il termine ‘apprendimento a pochi esempi’ deriva dall’idea che il modello riceva un numero limitato di esempi da cui ‘imparare’. È importante notare che ‘imparare’ in questo contesto non coinvolge l’aggiornamento dei parametri o dei pesi del modello, ma piuttosto influenza le prestazioni del modello.

Apprendimento a Pochi Esempi come Dimostrato nel Paper di GPT-3

L’apprendimento a zero esempi porta questo concetto un passo più in là. Nell’apprendimento a zero esempi, non vengono forniti esempi di completamento del compito nel modello. Il modello è atteso a eseguire bene in base al suo addestramento iniziale, rendendo questa metodologia ideale per scenari di risposta a domande aperte come ChatGPT.

In molte istanze, un modello proficiente nell’apprendimento a zero esempi può eseguire bene quando fornito con pochi esempi o anche solo un esempio. Questa capacità di passare tra zero, singolo e pochi esempi sottolinea l’adattabilità dei modelli grandi, aumentando le loro potenziali applicazioni in vari domini.

I metodi di apprendimento a zero esempi stanno diventando sempre più comuni. Questi metodi sono caratterizzati dalla loro capacità di riconoscere oggetti non visti durante l’addestramento. Ecco un esempio pratico di un Prompt a Pochi Esempi:

Traduci le seguenti frasi inglesi in francese:

'sea otter' si traduce in 'loutre de mer'
'sky' si traduce in 'ciel'
Come si traduce 'cloud' in francese?"

Fornendo al modello alcuni esempi e poi ponendo una domanda, possiamo effettivamente guidare il modello a generare l’output desiderato. In questo caso, GPT-3 tradurrebbe probabilmente correttamente ‘cloud’ in ‘nuage’ in francese.

Esploreremo ulteriormente le sfumature delle tecniche di prompt engineering e il loro ruolo essenziale nell’ottimizzare le prestazioni del modello durante l’inferenza. Esamineremo anche come possono essere utilizzate per creare soluzioni efficienti e scalabili in una vasta gamma di casi d’uso.

Man mano che esploriamo ulteriormente la complessità delle tecniche di prompt engineering nei modelli GPT, è importante sottolineare il nostro ultimo post ‘Guida Essenziale alla Progettazione dei Prompt in ChatGPT‘. Questa guida fornisce approfondimenti sulle strategie per istruire i modelli di intelligenza artificiale in modo efficace in una miriade di casi d’uso.

Nelle nostre discussioni precedenti, abbiamo esaminato i metodi di prompt fondamentali per i large language model (LLM) come l’apprendimento a zero e a pochi esempi, nonché il prompting delle istruzioni. Padroneggiare queste tecniche è cruciale per affrontare le sfide più complesse della progettazione dei prompt che esploreremo qui.

L’apprendimento a pochi esempi può essere limitato a causa della finestra di contesto limitata della maggior parte dei LLM. Inoltre, senza le adeguate salvaguardie, i LLM possono essere fuorviati nel fornire output potenzialmente dannosi. Inoltre, molti modelli lottano con compiti di ragionamento o nell’eseguire istruzioni multi-step.

Considerata questa limitazione, la sfida consiste nell’utilizzare i LLM per affrontare compiti complessi. Una soluzione ovvia potrebbe essere lo sviluppo di LLM più avanzati o il raffinamento di quelli esistenti, ma ciò potrebbe richiedere un notevole sforzo. Quindi, la domanda sorge: come possiamo ottimizzare i modelli attuali per una migliore risoluzione dei problemi?

Altrettanto affascinante è l’esplorazione di come questa tecnica si interfaccia con applicazioni creative in “Mastering AI Art: Una Guida Concisa a Midjourney e Progettazione dei Prompt“, che descrive come la fusione di arte e intelligenza artificiale possa portare a opere d’arte straordinarie.

Prompting a Catena di Pensieri

Il prompting a catena di pensieri sfrutta le proprietà auto-regressive innate dei large language model (LLM), che eccellono nel prevedere la prossima parola in una sequenza data. Inducendo il modello a chiarire il suo processo di pensiero, si induce una generazione più approfondita e metodica di idee, che tende ad allinearsi strettamente con informazioni accurate. Questo allineamento deriva dalla tendenza del modello a elaborare e fornire informazioni in modo pensieroso e ordinato, simile a un esperto umano che accompagna un ascoltatore attraverso un concetto complesso. Una semplice affermazione come “guidami passo dopo passo su come…” è spesso sufficiente per innescare questo output più verboso e dettagliato.

Prompting a Catena di Pensieri a Zero Esempi

Mentre il prompting a catena di pensieri convenzionale richiede un addestramento con dimostrazioni, un’area emergente è il prompting a catena di pensieri a zero esempi. Questo approccio, introdotto da Kojima et al. (2022), innovativamente aggiunge la frase “Pensiamo passo dopo passo” al prompt originale.

Creiamo un prompt avanzato in cui ChatGPT è incaricato di riassumere i punti chiave da ricerche e articoli di intelligenza artificiale e NLP.

In questa dimostrazione, utilizzeremo la capacità del modello di comprendere e riassumere informazioni complesse da testi accademici. Utilizzando l’approccio di apprendimento a pochi esempi, insegneremo a ChatGPT a riassumere i punti chiave da ricerche e articoli di intelligenza artificiale e NLP:

1. Titolo dell'Articolo: "L'Attenzione è Tutto Quello di cui Hai Bisogno"
Punto Chiave: Introdusse il modello transformer, enfatizzando l'importanza dei meccanismi di attenzione rispetto ai layer ricorrenti per i compiti di trasduzione di sequenze.

2. Titolo dell'Articolo: "BERT: Pre-addestramento di Trasformatori Bidirezionali Profondi per la Comprensione del Linguaggio"
Punto Chiave: Introdusse BERT, dimostrando l'efficacia del pre-addestramento di modelli bidirezionali profondi, raggiungendo risultati di stato dell'arte in vari compiti NLP.

Ora, con il contesto di questi esempi, riassumi i punti chiave dell'articolo seguente:

Titolo dell'Articolo: "Progettazione dei Prompt in Modelli di Linguaggio Grande: Un Esame"

Questo prompt non solo mantiene una chiara catena di pensieri ma utilizza anche un approccio di apprendimento a pochi esempi per guidare il modello. Si collega ai nostri keyword concentrandosi sui domini dell’IA e dell’NLP, assegnando specificamente a ChatGPT il compito di eseguire un’operazione complessa legata alla progettazione dei prompt: riassumere articoli di ricerca.

ReAct Prompt

ReAct, o “Ragiona e Agisci”, è stato introdotto da Google (GOOGL ) nel paper “ReAct: Sinergizzare Ragionamento e Azione nei Modelli Linguistici“, e ha rivoluzionato il modo in cui i modelli linguistici interagiscono con un compito, inducendo il modello a generare dinamicamente sia tracce di ragionamento verbale che azioni specifiche del compito.

Immagina un cuoco umano in cucina: non solo esegue una serie di azioni (taglia le verdure, mette a bollire l’acqua, mescola gli ingredienti) ma si impegna anche in un ragionamento verbale o discorso interiore (“ora che le verdure sono tagliate, dovrei mettere la pentola sul fuoco”). Questo dialogo interiore continuo aiuta nella strategia del processo, nell’adattarsi a cambiamenti improvvisi (“sono senza olio d’oliva, userò il burro invece”), e nel ricordare la sequenza dei compiti. ReAct mimetizza questa capacità umana, consentendo al modello di imparare rapidamente nuovi compiti e prendere decisioni robuste, proprio come un umano farebbe in circostanze nuove o incerte.

ReAct può affrontare l’allucinazione, un problema comune con i sistemi Chain-of-Thought (CoT). CoT, sebbene sia una tecnica efficace, manca della capacità di interagire con il mondo esterno, il che potrebbe potenzialmente portare all’allucinazione dei fatti e alla propagazione degli errori. ReAct, invece, compensa questo interagendo con fonti esterne di informazione. Questa interazione consente al sistema non solo di validare il suo ragionamento ma anche di aggiornare le sue conoscenze in base alle informazioni più recenti del mondo esterno.

Il funzionamento fondamentale di ReAct può essere spiegato attraverso un esempio tratto da HotpotQA, un compito che richiede un ragionamento di alto livello. Ricevuta una domanda, il modello ReAct la scompone in parti gestibili e crea un piano d’azione. Il modello genera una traccia di ragionamento (pensiero) e identifica un’azione rilevante. Potrebbe decidere di cercare informazioni sull’Apple Remote su una fonte esterna come Wikipedia (azione), e aggiorna la sua comprensione in base alle informazioni ottenute (osservazione). Attraverso più passaggi di pensiero-azione-osservazione, ReAct può recuperare informazioni per supportare il suo ragionamento mentre raffina ciò che deve recuperare dopo.

Nota:

HotpotQA è un set di dati derivato da Wikipedia, composto da 113k paia di domanda-risposta progettati per addestrare i sistemi di intelligenza artificiale nel ragionamento complesso, poiché le domande richiedono il ragionamento su più documenti per rispondere. D’altra parte, CommonsenseQA 2.0, costruito attraverso la gamificazione, include 14.343 domande sì/no e è progettato per sfidare la comprensione dell’intelligenza artificiale del senso comune, poiché le domande sono intenzionalmente create per fuorviare i modelli di intelligenza artificiale.

Il processo potrebbe sembrare così:

1. Pensiero: “Devo cercare l’Apple Remote e i dispositivi compatibili.”
2. Azione: Cerca “dispositivi compatibili con l’Apple Remote” su una fonte esterna.
3. Osservazione: Ottiene un elenco di dispositivi compatibili con l’Apple Remote dai risultati della ricerca.
4. Pensiero: “Sulla base dei risultati della ricerca, diversi dispositivi, oltre all’Apple Remote, possono controllare il programma con cui era stato originariamente progettato di interagire.”

Il risultato è un processo dinamico basato sul ragionamento che può evolversi in base alle informazioni con cui interagisce, portando a risposte più accurate e affidabili.

Visualizzazione Comparativa di Quattro Metodi di Prompting – Standard, Chain-of-Thought, Act-Only e ReAct, nella Risoluzione di HotpotQA e AlfWorld (https://arxiv.org/pdf/2210.03629.pdf)

La progettazione di agenti ReAct è un compito specializzato, data la sua capacità di raggiungere obiettivi intricati. Ad esempio, un agente conversazionale costruito sul modello ReAct di base incorpora la memoria conversazionale per fornire interazioni più ricche. Tuttavia, la complessità di questo compito è semplificata da strumenti come Langchain, che è diventato lo standard per la progettazione di questi agenti.

Prompting Fedele al Contesto

Il paper ‘Prompting Fedele al Contesto per Modelli di Linguaggio Grande‘ sottolinea che, sebbene i LLM abbiano mostrato un notevole successo in compiti NLP guidati dalla conoscenza, la loro eccessiva dipendenza dalla conoscenza parametrica può portarli fuori strada in compiti sensibili al contesto. Ad esempio, quando un modello linguistico è addestrato su fatti obsoleti, può produrre risposte errate se trascura gli indizi del contesto.

Questo problema è evidente in casi di conflitto di conoscenza, dove il contesto contiene fatti che differiscono dalla conoscenza pre-esistente del LLM. Considera un caso in cui un LLM, preparato con dati prima della Coppa del Mondo 2022, riceve un contesto che indica che la Francia ha vinto il torneo. Tuttavia, il LLM, affidandosi alla sua conoscenza pre-addestrata, continua ad affermare che il vincitore precedente, ovvero la squadra che ha vinto nel 2018, è ancora il campione in carica. Ciò dimostra un classico caso di ‘conflitto di conoscenza’.

In sostanza, il conflitto di conoscenza in un LLM sorge quando le nuove informazioni fornite nel contesto contraddicono la conoscenza pre-esistente su cui il modello è stato addestrato. La tendenza del modello a fare affidamento sulla sua conoscenza pregressa piuttosto che sul contesto appena fornito può portare a output errati. D’altra parte, l’allucinazione nei LLM è la generazione di risposte che possono sembrare plausibili ma non sono radicate nei dati di addestramento del modello o nel contesto fornito.

Un altro problema sorge quando il contesto fornito non contiene abbastanza informazioni per rispondere a una domanda in modo accurato, una situazione nota come previsione con astensione. Ad esempio, se un LLM viene chiesto del fondatore di Microsoft (MSFT ) sulla base di un contesto che non fornisce queste informazioni, dovrebbe idealmente astenersi dall’indovinare.

Altri Esempi di Conflitto di Conoscenza e del Potere dell’Astensione

Per migliorare la fedeltà al contesto dei LLM in questi scenari, i ricercatori hanno proposto una serie di strategie di prompting. Queste strategie mirano a rendere le risposte dei LLM più attune al contesto piuttosto che affidarsi alla loro conoscenza codificata.

Una di queste strategie consiste nel formulare i prompt come domande basate sull’opinione, dove il contesto viene interpretato come una dichiarazione del narratore, e la domanda si riferisce all’opinione di questo narratore. Questo approccio riporta l’attenzione del LLM sul contesto presentato piuttosto che ricorrere alla sua conoscenza pre-esistente.

L’aggiunta di dimostrazioni controfattuali ai prompt è stata anche identificata come un modo efficace per aumentare la fedeltà in casi di conflitto di conoscenza. Queste dimostrazioni presentano scenari con fatti falsi, che guidano il modello a prestare maggiore attenzione al contesto per fornire risposte accurate.

Addestramento alle Istruzioni

L’addestramento alle istruzioni è una fase di apprendimento supervisionato che si avvale del fatto di fornire al modello istruzioni specifiche, ad esempio “Spiega la distinzione tra un’aurora boreale e un tramonto”. L’istruzione è accoppiata con una risposta appropriata, qualcosa del tipo “Un’aurora boreale si riferisce al momento in cui la luce del sole appare all’orizzonte al mattino, mentre un tramonto segna il punto in cui il sole scompare sotto l’orizzonte alla sera”. Attraverso questo metodo, il modello impara essenzialmente come aderire a e eseguire istruzioni.

Questo approccio influenza significativamente il processo di prompting dei LLM, portando a un radicale cambiamento nello stile di prompting. Un LLM addestrato alle istruzioni consente l’esecuzione immediata di compiti a zero esempi, fornendo un’esecuzione di compiti senza soluzione di continuità. Se il LLM non è ancora stato addestrato, potrebbe essere necessario un approccio di apprendimento a pochi esempi, incorporando alcuni esempi nel prompt per guidare il modello verso la risposta desiderata.

“Addestramento alle Istruzioni con GPT-4′ discute il tentativo di utilizzare GPT-4 per generare dati di addestramento alle istruzioni per LLM. Hanno utilizzato un dataset ricco, composto da 52.000 voci uniche di addestramento alle istruzioni in inglese e cinese.

Il dataset gioca un ruolo cruciale nell’addestramento dei modelli LLaMA, una serie di LLM open-source, portando a una migliore prestazione a zero esempi in nuovi compiti. Progetti degni di nota come Stanford Alpaca hanno efficacemente impiegato l’addestramento Self-Instruct, un metodo efficiente per allineare i LLM con l’intento umano, sfruttando dati generati da modelli di insegnanti avanzati addestrati alle istruzioni.

L’obiettivo principale della ricerca sull’addestramento alle istruzioni è quello di aumentare le capacità di generalizzazione a zero e a pochi esempi dei LLM. Un’ulteriore raccolta di dati e la scalabilità del modello possono fornire preziosi approfondimenti. Con l’attuale dimensione dei dati GPT-4 a 52K e la dimensione del modello LLaMA a 7 miliardi di parametri, c’è un enorme potenziale per raccogliere più dati di addestramento alle istruzioni GPT-4 e combinarli con altre fonti di dati, portando all’addestramento di modelli LLaMA più grandi per una migliore prestazione.

STaR: Bootstrapping del Ragionamento con il Ragionamento

Il potenziale dei LLM è particolarmente visibile in compiti di ragionamento complesso come la matematica o la risposta alle domande del senso comune. Tuttavia, il processo di induzione di un modello linguistico a generare giustificazioni – una serie di passaggi di ragionamento o “catena di pensieri” – ha la sua serie di sfide. Spesso richiede la costruzione di grandi set di dati di giustificazioni o un sacrificio in accuratezza a causa della dipendenza da inferenze a pochi esempi.

“Self-Taught Reasoner” (STaR) offre una soluzione innovativa a queste sfide. Utilizza un ciclo semplice per migliorare continuamente la capacità di ragionamento del modello. Questo processo iterativo inizia generando giustificazioni per rispondere a più domande utilizzando pochi esempi razionali. Se le risposte generate sono errate, il modello tenta nuovamente di generare una giustificazione, questa volta fornendo la risposta corretta. Il modello viene quindi addestrato su tutte le giustificazioni che hanno portato a risposte corrette, e il processo si ripete.

Metodologia STaR, Mostrando il Ciclo di Addestramento e una Generazione di Giustificazione su CommonsenseQA (https://arxiv.org/pdf/2203.14465.pdf)

Per illustrare ciò con un esempio pratico, considera la domanda “Cosa può essere usato per trasportare un piccolo cane?” con opzioni di risposta che vanno da una piscina a un cesto. Il modello STaR genera una giustificazione, identificando che la risposta deve essere qualcosa in grado di trasportare un piccolo cane e conclude che un cesto, progettato per contenere oggetti, è la risposta corretta.

STaR si distingue per il fatto che sfrutta la capacità di ragionamento pre-esistente del modello linguistico. Impiega un processo di auto-generazione e raffinamento delle giustificazioni, migliorando iterativamente le capacità di ragionamento del modello. Tuttavia, il ciclo di STaR ha le sue limitazioni. Il modello potrebbe non riuscire a risolvere nuovi problemi nel set di addestramento perché non riceve un segnale di addestramento diretto per i problemi che non riesce a risolvere. Per affrontare questo problema, STaR introduce la razionalizzazione. Per ogni problema che il modello non riesce a risolvere, genera una nuova giustificazione fornendo al modello la risposta corretta, consentendogli di ragionare a ritroso.

STaR, quindi, si pone come un metodo di bootstrapping scalabile che consente ai modelli di imparare a generare le proprie giustificazioni mentre imparano a risolvere problemi sempre più difficili. L’applicazione di STaR ha mostrato risultati promettenti in compiti che coinvolgono l’aritmetica, i problemi di parole matematiche e il ragionamento del senso comune. Su CommonsenseQA, STaR ha migliorato sia la baseline a pochi esempi che la baseline addestrata per prevedere direttamente le risposte e ha eseguito in modo comparabile a un modello 30 volte più grande.

Prompt di Contesto Etichettato

Il concetto di ‘Prompt di Contesto Etichettato‘ ruota attorno all’idea di fornire al modello di intelligenza artificiale un’ulteriore stratificazione di contesto etichettando determinate informazioni all’interno dell’input. Queste etichette agiscono essenzialmente come segnali stradali per l’IA, guidandola su come interpretare il contesto in modo accurato e generare una risposta che sia sia pertinente che fattuale.

Immagina di avere una conversazione con un amico su un certo argomento, diciamo ‘scacchi’. Fai una dichiarazione e poi la etichetti con un riferimento, come ‘(fonte: Wikipedia)’. Ora, il tuo amico, che in questo caso è il modello di intelligenza artificiale, sa esattamente da dove provengono le tue informazioni. Questo approccio mira a rendere le risposte dell’IA più affidabili riducendo il rischio di allucinazioni, o la generazione di fatti falsi.

Un aspetto unico dei prompt di contesto etichettato è il loro potenziale per migliorare l’intelligenza contestuale dei modelli di intelligenza artificiale. Ad esempio, il paper dimostra ciò utilizzando un insieme diversificato di domande estratte da varie fonti, come articoli di Wikipedia riassunti su diversi argomenti e sezioni di un libro recentemente pubblicato. Le domande sono etichettate, fornendo al modello di intelligenza artificiale ulteriore contesto sull’origine delle informazioni.

Questo strato aggiuntivo di contesto può rivelarsi incredibilmente benefico quando si tratta di generare risposte che non sono solo accurate ma anche conformi al contesto fornito, rendendo l’output dell’IA più affidabile e degno di fiducia.

Conclusione: Uno Sguardo alle Tecniche Promettenti e alle Direzioni Future

ChatGPT di OpenAI mostra il potenziale inesplorato dei Large Language Model (LLM) nell’affrontare compiti complessi con notevole efficienza. Tecniche avanzate come l’apprendimento a pochi esempi, ReAct, chain-of-thought e STaR consentono di sfruttare questo potenziale in una vasta gamma di applicazioni. Man mano che esploriamo ulteriormente le sfumature di queste metodologie, scopriamo come stanno plasmando il paesaggio dell’intelligenza artificiale, offrendo interazioni più ricche e più sicure tra esseri umani e macchine.

Nonostante le sfide come il conflitto di conoscenza, la dipendenza eccessiva dalla conoscenza parametrica e il potenziale per l’allucinazione, questi modelli di intelligenza artificiale, con la progettazione dei prompt appropriata, hanno dimostrato di essere strumenti trasformativi. L’addestramento alle istruzioni, il prompting fedele al contesto e l’integrazione con fonti di dati esterne amplificano ulteriormente la loro capacità di ragionare, imparare e adattarsi.