GPT-4 ci porterà più vicino a una vera rivoluzione dell’IA?

Sono passati quasi tre anni da quando GPT-3 è stato introdotto, nel maggio 2020. Da allora, il modello di generazione di testi di intelligenza artificiale ha suscitato molto interesse per la sua capacità di creare testi che sembrano e suonano come se fossero stati scritti da un essere umano. Ora sembra che la prossima iterazione del software, GPT-4, sia proprio dietro l’angolo, con una data di rilascio stimata per l’inizio del 2023.

Nonostante la natura molto attesa di questa notizia sull’IA, i dettagli esatti su GPT-4 sono stati abbastanza vaghi. OpenAI, l’azienda dietro GPT-4, non ha reso pubblica molta informazione sul nuovo modello, come le sue caratteristiche o le sue capacità. Tuttavia, i recenti progressi nel campo dell’IA, in particolare riguardo all’elaborazione del linguaggio naturale (NLP), possono offrire alcuni indizi su cosa ci si può aspettare da GPT-4.

Cosa è GPT?

Prima di addentrarsi nei dettagli, è utile stabilire una base su cosa sia GPT. GPT sta per Generative Pre-trained Transformer e si riferisce a un modello di rete neurale profonda che è stato addestrato sui dati disponibili su Internet per creare grandi volumi di testi generati da macchina. GPT-3 è la terza generazione di questa tecnologia ed è uno dei modelli di generazione di testi di IA più avanzati attualmente disponibili.

Pensate a GPT-3 come a un sistema che funziona un po’ come gli assistenti vocali, come Siri o Alexa, solo su una scala molto più grande. Invece di chiedere ad Alexa di riprodurre la vostra canzone preferita o di far digitare a Siri il vostro testo, potete chiedere a GPT-3 di scrivere un intero eBook in pochi minuti o generare 100 idee per post sui social media in meno di un minuto. Tutto ciò che l’utente deve fare è fornire un prompt, come “Scrivimi un articolo di 500 parole sull’importanza della creatività”. Finché il prompt è chiaro e specifico, GPT-3 può scrivere quasi tutto ciò che gli si chiede.

Da quando è stato rilasciato al pubblico, GPT-3 ha trovato molte applicazioni aziendali. Le aziende lo utilizzano per la sintesi di testi, la traduzione di lingue, la generazione di codice e l’automazione su larga scala di quasi ogni compito di scrittura.

Detto questo, mentre GPT-3 è senza dubbio molto impressionante nella sua capacità di creare testi molto leggibili e simili a quelli umani, è lontano dall’essere perfetto. I problemi tendono a sorgere quando viene richiesto di scrivere pezzi più lunghi, specialmente quando si tratta di argomenti complessi che richiedono insight. Ad esempio, un prompt per generare codice per un sito web potrebbe restituire codice corretto ma subottimale, quindi un programmatore umano deve ancora entrare e apportare miglioramenti. È un problema simile con i grandi documenti di testo: più grande è il volume del testo, più è probabile che si verifichino errori – a volte divertenti – che devono essere corretti da uno scrittore umano.

In poche parole, GPT-3 non è un sostituto completo per gli scrittori o i programmatori umani e non dovrebbe essere considerato come tale. Invece, GPT-3 dovrebbe essere visto come un assistente di scrittura, uno che può risparmiare alle persone molto tempo quando devono generare idee per post di blog o abbozzi grezzi per copie pubblicitarie o comunicati stampa.

Più parametri = meglio?

Una cosa da capire sui modelli di IA è come utilizzano i parametri per effettuare previsioni. I parametri di un modello di IA definiscono il processo di apprendimento e forniscono una struttura per l’output. Il numero di parametri in un modello di IA è stato generalmente utilizzato come misura delle prestazioni. Più parametri, più potente, liscio e prevedibile è il modello, almeno secondo l’ipotesi di scaling.

Ad esempio, quando GPT-1 è stato rilasciato nel 2018, aveva 117 milioni di parametri. GPT-2, rilasciato un anno dopo, aveva 1,2 miliardi di parametri, mentre GPT-3 ha aumentato il numero ancora di più a 175 miliardi di parametri. Secondo un’intervista di agosto 2021 con Wired, Andrew Feldman, fondatore e CEO di Cerebras, una società che collabora con OpenAI, ha menzionato che GPT-4 avrebbe circa 100 trilioni di parametri. Ciò renderebbe GPT-4 100 volte più potente di GPT-3, un salto quantico nella dimensione dei parametri che, comprensibilmente, ha reso molte persone molto entusiaste.

Tuttavia, nonostante la pretesa di Feldman, ci sono buone ragioni per pensare che GPT-4 non avrà in realtà 100 trilioni di parametri. Più grande è il numero di parametri, più costoso diventa addestrare e affinare il modello a causa della grande quantità di potenza computazionale richiesta.

Inoltre, ci sono più fattori che solo il numero di parametri che determinano l’efficacia di un modello. Prendete ad esempio Megatron-Turing NLG, un modello di generazione di testi costruito da Nvidia e Microsoft, che ha più di 500 miliardi di parametri. Nonostante le sue dimensioni, MT-NLG non si avvicina a GPT-3 in termini di prestazioni. In breve, più grande non significa necessariamente meglio.

È probabile che GPT-4 abbia effettivamente più parametri di GPT-3, ma rimane da vedere se quel numero sarà di un ordine di grandezza superiore. Invece, ci sono altre possibilità intriganti che OpenAI sta probabilmente perseguendo, come un modello più magro che si concentra su miglioramenti qualitativi nella progettazione algoritmica e nell’allineamento. L’impatto esatto di tali miglioramenti è difficile da prevedere, ma ciò che è noto è che un modello sparso può ridurre i costi di calcolo attraverso ciò che viene chiamato calcolo condizionale, cioè non tutti i parametri nel modello di IA saranno attivi tutto il tempo, simile a come funzionano i neuroni nel cervello umano.

Cosa sarà in grado di fare GPT-4?

Finché OpenAI non rilascerà una nuova dichiarazione o addirittura rilascerà GPT-4, siamo costretti a speculare su come sarà diverso da GPT-3. In ogni caso, possiamo fare alcune previsioni

Sebbene il futuro dello sviluppo dell’apprendimento profondo dell’IA sia multimodale, GPT-4 probabilmente rimarrà solo testuale. Come esseri umani, viviamo in un mondo multisensoriale pieno di diversi input audio, visivi e testuali. Pertanto, è inevitabile che lo sviluppo dell’IA produrrà alla fine un modello multimodale che possa incorporare una varietà di input.

Tuttavia, un buon modello multimodale è significativamente più difficile da progettare di un modello solo testuale. La tecnologia semplicemente non c’è ancora e sulla base di ciò che sappiamo sui limiti della dimensione dei parametri, è probabile che OpenAI si stia concentrando sull’espansione e il miglioramento di un modello solo testuale.

È anche probabile che GPT-4 sarà meno dipendente da prompt precisi. Uno dei difetti di GPT-3 è che i prompt di testo devono essere scritti con cura per ottenere il risultato desiderato. Quando i prompt non sono scritti con cura, è possibile ottenere output che sono falsi, tossici o addirittura riflettono punti di vista estremisti. Ciò fa parte di ciò che viene chiamato “problema di allineamento” e si riferisce alle sfide nella creazione di un modello di IA che comprenda appieno le intenzioni dell’utente. In altre parole, il modello di IA non è allineato con gli obiettivi o le intenzioni dell’utente. Poiché i modelli di IA sono addestrati utilizzando set di dati testuali da Internet, è molto facile che i pregiudizi, le falsità e i pregiudizi umani si facciano strada nei testi di output.

Detto questo, ci sono buone ragioni per credere che gli sviluppatori stanno facendo progressi sul problema di allineamento. Questo ottimismo deriva da alcune scoperte nello sviluppo di InstructGPT, una versione più avanzata di GPT-3 che è stata addestrata su feedback umani per seguire istruzioni e intenzioni dell’utente più da vicino. I giudici umani hanno trovato che InstructGPT era molto meno dipendente da GPT-3 da un buon prompt.

Tuttavia, è importante notare che questi test sono stati condotti solo con dipendenti di OpenAI, un gruppo abbastanza omogeneo che potrebbe non differire molto per genere, religione o punti di vista politici. È probabile che GPT-4 subirà un addestramento più diversificato che migliorerà l’allineamento per diversi gruppi, anche se in quale misura rimane da vedere.

GPT-4 sostituirà gli esseri umani?

Nonostante la promessa di GPT-4, è improbabile che sostituirà completamente la necessità di scrittori e programmatori umani. C’è ancora molto lavoro da fare su tutto, dall’ottimizzazione dei parametri alla multimodalità all’allineamento. Potrebbe voler passare molto tempo prima di vedere un generatore di testi che possa raggiungere una comprensione veramente umana delle complessità e delle sfumature dell’esperienza reale.

Ciò nonostante, ci sono ancora buone ragioni per essere entusiasti dell’arrivo di GPT-4. L’ottimizzazione dei parametri – piuttosto che la semplice crescita dei parametri – probabilmente porterà a un modello di IA che ha molto più potere di calcolo del suo predecessore. E un miglior allineamento renderà probabilmente GPT-4 molto più user-friendly.

Inoltre, siamo ancora solo all’inizio dello sviluppo e dell’adozione di strumenti di IA. Vengono costantemente trovati nuovi casi d’uso per la tecnologia e poiché le persone guadagnano più fiducia e comfort nell’uso di IA sul posto di lavoro, è quasi certo che vedremo un’adozione diffusa di strumenti di IA in quasi ogni settore aziendale nei prossimi anni.