GPT-4 porterà una vera rivoluzione dell’IA?

È stato quasi tre anni da quando GPT-3 è stato introdotto, nel maggio 2020. Da allora, il modello di generazione di testo AI ha suscitato molto interesse per la sua capacità di creare testi che sembrano e suonano come se fossero stati scritti da un essere umano. Ora sembra che la prossima iterazione del software, GPT-4, sia proprio dietro l’angolo, con una data di rilascio prevista per l’inizio del 2023.

Nonostante l’attesa per questa notizia sull’IA, i dettagli esatti su GPT-4 sono stati abbastanza vaghi. OpenAI, l’azienda dietro GPT-4, non ha reso pubblica molta informazione sul nuovo modello, come le sue caratteristiche o le sue capacità. Tuttavia, i recenti progressi nel campo dell’IA, in particolare riguardo all’elaborazione del linguaggio naturale (NLP), potrebbero offrire alcuni indizi su cosa ci si può aspettare da GPT-4.

Cosa è GPT?

Prima di entrare nei dettagli, è utile stabilire una base su cosa sia GPT. GPT sta per Generative Pre-trained Transformer e si riferisce a un modello di rete neurale profonda che è stato addestrato sui dati disponibili su Internet per creare grandi volumi di testo generato dalla macchina. GPT-3 è la terza generazione di questa tecnologia ed è uno dei modelli di generazione di testo AI più avanzati attualmente disponibili.

Pensate a GPT-3 come a un assistente vocale, come Siri o Alexa, solo su una scala molto più grande. Invece di chiedere ad Alexa di riprodurre la vostra canzone preferita o di far scrivere a Siri il vostro testo, potete chiedere a GPT-3 di scrivere un intero eBook in pochi minuti o di generare 100 idee per post sui social media in meno di un minuto. Tutto ciò che l’utente deve fare è fornire un prompt, come ad esempio “Scrivimi un articolo di 500 parole sull’importanza della creatività”. Finché il prompt è chiaro e specifico, GPT-3 può scrivere quasi tutto ciò che gli viene chiesto.

Dal suo rilascio al pubblico, GPT-3 ha trovato molte applicazioni aziendali. Le aziende lo utilizzano per la sommarizzazione del testo, la traduzione del linguaggio, la generazione del codice e l’automazione su larga scala di quasi ogni compito di scrittura.

Tuttavia, sebbene GPT-3 sia senza dubbio molto impressionante nella sua capacità di creare testi molto leggibili e simili a quelli umani, è lontano dall’essere perfetto. I problemi tendono a sorgere quando viene richiesto di scrivere pezzi più lunghi, specialmente quando si tratta di argomenti complessi che richiedono comprensione. Ad esempio, un prompt per generare codice per un sito web potrebbe restituire codice corretto ma subottimale, quindi un programmatore umano deve ancora andare a migliorarlo. È un problema simile con i grandi documenti di testo: più grande è il volume di testo, più probabile è che si verifichino errori – a volte divertenti – che devono essere corretti da uno scrittore umano.

In sintesi, GPT-3 non è un sostituto completo per gli scrittori o i programmatori umani e non dovrebbe essere considerato come tale. Invece, GPT-3 dovrebbe essere visto come un assistente di scrittura, uno che può risparmiare alle persone molto tempo quando devono generare idee per post sui blog o bozze per la copia pubblicitaria o i comunicati stampa.

Più parametri = meglio?

Una cosa da capire sui modelli di intelligenza artificiale è come utilizzano i parametri per effettuare previsioni. I parametri di un modello di intelligenza artificiale definiscono il processo di apprendimento e forniscono una struttura per l’output. Il numero di parametri in un modello di intelligenza artificiale è stato generalmente utilizzato come misura di prestazione. Più parametri significa un modello più potente, liscio e prevedibile, almeno secondo l’ipotesi di scala.

Ad esempio, quando GPT-1 è stato rilasciato nel 2018, aveva 117 milioni di parametri. GPT-2, rilasciato un anno dopo, aveva 1,2 miliardi di parametri, mentre GPT-3 ha aumentato il numero a 175 miliardi di parametri. Secondo un’intervista di agosto 2021 con Wired, Andrew Feldman, fondatore e amministratore delegato di Cerebras, una società che collabora con OpenAI, ha menzionato che GPT-4 avrebbe circa 100 trilioni di parametri. Ciò renderebbe GPT-4 100 volte più potente di GPT-3, un salto quantico nella dimensione dei parametri che, comprensibilmente, ha reso molte persone molto emozionate.

Tuttavia, nonostante l’affermazione di Feldman, ci sono buone ragioni per pensare che GPT-4 non avrà in realtà 100 trilioni di parametri. Più grande è il numero di parametri, più costoso diventa il modello da addestrare e ottimizzare a causa delle enormi quantità di potenza di calcolo richieste.

Inoltre, ci sono più fattori che solo il numero di parametri che determinano l’efficacia di un modello. Prendiamo ad esempio Megatron-Turing NLG, un modello di generazione di testo costruito da Nvidia e Microsoft, che ha più di 500 miliardi di parametri. Nonostante le sue dimensioni, MT-NLG non si avvicina a GPT-3 in termini di prestazioni. In breve, più grande non significa necessariamente meglio.

È probabile che GPT-4 abbia più parametri di GPT-3, ma rimane da vedere se quel numero sarà un ordine di grandezza superiore. Invece, ci sono altre possibilità intriganti che OpenAI sta probabilmente perseguendo, come un modello più leggero che si concentra su miglioramenti qualitativi nel design algoritmico e nell’allineamento. L’impatto esatto di tali miglioramenti è difficile da prevedere, ma ciò che è noto è che un modello sparso può ridurre i costi di calcolo attraverso la cosiddetta computazione condizionale, cioè non tutti i parametri nel modello di intelligenza artificiale saranno sempre attivi, simile a come funzionano i neuroni nel cervello umano.

Cosa sarà in grado di fare GPT-4?

Fino a quando OpenAI non rilascerà una nuova dichiarazione o addirittura rilascerà GPT-4, siamo costretti a speculare su come sarà diverso da GPT-3. Indipendentemente da ciò, possiamo fare alcune previsioni

Sebbene il futuro dello sviluppo dell’apprendimento profondo dell’IA sia multimodale, GPT-4 probabilmente rimarrà testuale. Come esseri umani, viviamo in un mondo multisensoriale pieno di diversi input audio, visivi e testuali. Pertanto, è inevitabile che lo sviluppo dell’IA produrrà alla fine un modello multimodale che possa incorporare una varietà di input.

Tuttavia, un buon modello multimodale è significativamente più difficile da progettare di un modello testuale. La tecnologia semplicemente non c’è ancora e sulla base di ciò che sappiamo sui limiti della dimensione dei parametri, è probabile che OpenAI si stia concentrando sull’espansione e sul miglioramento di un modello testuale.

È anche probabile che GPT-4 sarà meno dipendente da prompt precisi. Uno dei svantaggi di GPT-3 è che i prompt di testo devono essere scritti con cura per ottenere il risultato desiderato. Quando i prompt non sono scritti con cura, è possibile ottenere output che sono falsi, tossici o addirittura riflettono punti di vista estremisti. Ciò fa parte del problema di allineamento e si riferisce alle sfide nella creazione di un modello di intelligenza artificiale che comprenda appieno le intenzioni dell’utente. In altre parole, il modello di intelligenza artificiale non è allineato con gli obiettivi o le intenzioni dell’utente. Poiché i modelli di intelligenza artificiale sono addestrati utilizzando set di dati testuali da Internet, è molto facile che i pregiudizi umani, le falsità e i pregiudizi si facciano strada negli output testuali.

Tuttavia, ci sono buone ragioni per credere che gli sviluppatori stanno facendo progressi nel problema di allineamento. Questo ottimismo deriva da alcuni progressi nello sviluppo di InstructGPT, una versione più avanzata di GPT-3 che è stata addestrata con feedback umano per seguire le istruzioni e le intenzioni dell’utente più da vicino. I giudici umani hanno trovato che InstructGPT era molto meno dipendente da GPT-3 da prompt di buona qualità.

Tuttavia, è necessario notare che questi test sono stati condotti solo con dipendenti di OpenAI, un gruppo abbastanza omogeneo che potrebbe non differire molto per genere, religione o punti di vista politici. È probabile che GPT-4 subirà un addestramento più diversificato che migliorerà l’allineamento per diversi gruppi, anche se rimane da vedere fino a che punto.

GPT-4 sostituirà gli esseri umani?

Nonostante la promessa di GPT-4, è improbabile che sostituisca completamente la necessità di scrittori e programmatori umani. Ci è ancora molto lavoro da fare su tutto, dall’ottimizzazione dei parametri alla multimodalità all’allineamento. Potrebbero volerci molti anni prima di vedere un generatore di testo che possa raggiungere una comprensione veramente umana delle complessità e delle sfumature dell’esperienza reale.

Anche così, ci sono ancora buone ragioni per essere emozionati per l’arrivo di GPT-4. L’ottimizzazione dei parametri – piuttosto che la semplice crescita dei parametri – porterà probabilmente a un modello di intelligenza artificiale che ha molto più potere di calcolo del suo predecessore. E un miglior allineamento renderà probabilmente GPT-4 molto più utile per l’utente.

Inoltre, siamo ancora solo all’inizio dello sviluppo e dell’adozione di strumenti di intelligenza artificiale. Vengono costantemente trovati nuovi casi d’uso per la tecnologia e, man mano che le persone guadagnano più fiducia e comfort nell’uso dell’IA sul posto di lavoro, è quasi certo che vedremo un’adozione diffusa di strumenti di intelligenza artificiale in quasi ogni settore aziendale nei prossimi anni.