È GPT-4 un passo avanti verso la realizzazione dell’AGI?

Microsoft (MSFT ) ha recentemente pubblicato un articolo di ricerca intitolato: Scintille di intelligenza artificiale generale: esperimenti precoci con GPT-4. Come descritto da Microsoft:

Questo articolo riporta la nostra indagine su una versione precoce di GPT-4, quando era ancora in fase di sviluppo attivo da parte di OpenAI. Sosteniamo che (questa versione precoce di) GPT-4 fa parte di un nuovo gruppo di LLM (insieme a ChatGPT e Google’s (GOOGL ) PaLM, ad esempio) che esibiscono una maggiore intelligenza generale rispetto ai precedenti modelli di intelligenza artificiale.

In questo articolo, ci sono prove conclusive che dimostrano che GPT-4 va ben oltre la memorizzazione e che ha una comprensione profonda e flessibile di concetti, abilità e domini. In realtà, la sua capacità di generalizzare supera quella di qualsiasi essere umano vivo oggi.

Mentre abbiamo precedentemente discusso dei vantaggi dell’AGI, dovremmo riassumere rapidamente il consenso generale su cosa sia un sistema AGI. In sostanza, un AGI è un tipo di intelligenza artificiale avanzata che può generalizzare su più domini e non è limitata a un’unica area di applicazione. Esempi di intelligenza artificiale ristretta includono un veicolo autonomo, un chatbot, un bot di scacchi o qualsiasi altro AI progettato per uno scopo specifico.

Un AGI, al contrario, sarebbe in grado di alternare flessibilmente tra qualsiasi area di competenza o campo di esperto. Sarebbe un AI che potrebbe sfruttare algoritmi nascenti come apprendimento trasferito e apprendimento evolutivo, mentre sfrutta anche algoritmi legacy come apprendimento per rinforzo profondo.

La descrizione di AGI sopra corrisponde alla mia esperienza personale con l’uso di GPT-4, nonché alle prove condivise nell’articolo di ricerca pubblicato da Microsoft.

Una delle richieste elencate nell’articolo è quella di far scrivere a GPT-4 una prova dell’infinità dei numeri primi sotto forma di poesia.

Se analizziamo i requisiti per creare una tale poesia, ci rendiamo conto che richiede ragionamento matematico, espressione poetica e generazione di linguaggio naturale. Questa è una sfida che supererebbe la capacità media della maggior parte degli esseri umani.

L’articolo voleva capire se GPT-4 stava semplicemente producendo contenuti basati sulla memorizzazione generale o se stava comprendendo il contesto e ragionando. Quando gli è stato chiesto di ricreare una poesia nello stile di Shakespeare, è stato in grado di farlo. Ciò richiede un livello di comprensione multifacético che supera di gran lunga la capacità della popolazione generale e include teoria della mente e genio matematico.

Come calcolare l’intelligenza di GPT-4?

La domanda diventa quindi come possiamo misurare l’intelligenza di un LLM? E GPT-4 sta mostrando comportamenti di vero apprendimento o solo memorizzazione?

Il modo attuale di testare un sistema di intelligenza artificiale consiste nel valutare il sistema su un set di dataset di benchmark standard, e assicurarsi che siano indipendenti dai dati di addestramento e che coprano una gamma di attività e domini. Questo tipo di test è quasi impossibile a causa della quantità quasi illimitata di dati su cui GPT-4 è stato addestrato.

L’articolo discute la generazione di compiti e domande nuove e difficili che dimostrano in modo convincente che GPT-4 va ben oltre la memorizzazione e che ha una comprensione profonda e flessibile di concetti, abilità e domini.

Per quanto riguarda l’intelligenza, GPT-4 può generare storie brevi, sceneggiature e può calcolare le formule più complesse.

GPT-4 è anche in grado di codificare a un livello molto alto, sia scrivendo codice da istruzioni che comprendendo codice esistente. GPT-4 può gestire una vasta gamma di attività di codifica, dalle sfide di codifica alle applicazioni del mondo reale, dal basso livello di assembly ai framework di alto livello, dalle strutture di dati semplici ai programmi complessi come i giochi. GPT-4 può anche ragionare sull’esecuzione del codice, simulare gli effetti delle istruzioni e spiegare i risultati in linguaggio naturale. GPT-4 può anche eseguire pseudocodice,

GPT-4 può offrire risposte razionali a quasi qualsiasi richiesta data. In realtà, la sua intelligenza è quasi invincibile nella sua complessità.

Limitazioni di GPT-4

L’articolo prosegue descrivendo come hanno testato le risposte e i comportamenti di GPT-4, per verificare la sua coerenza, coesione e correttezza, e per scoprire le sue limitazioni e pregiudizi.

La limitazione più ovvia è la sua tendenza a hallucinare. Ecco un esempio di allucinazione che è riportato nell’articolo, in cui GPT-4 era sicuro della sua risposta, che era completamente falsa.

Sembra che anche GPT-4 comprenda questa limitazione attuale con le allucinazioni, poiché questa è la risposta che ha dato quando gli ho chiesto cosa sia un’allucinazione GPT:

Un’allucinazione GPT si riferisce a un fenomeno in cui un modello di trasformazione generativa pre-addestrato (GPT) come quello con cui si sta interagendo, produce una risposta che non si basa su informazioni fattuali o non è coerente con il contesto fornito. Queste allucinazioni si verificano quando il modello genera testo che può sembrare plausibile ma è in realtà errato, fuorviante o insensato.

In altre parole, quando si addestra un LLM su dati del mondo, come si evita che il sistema impari dati errati? Un modello di linguaggio grande che apprende e rigurgita informazioni errate e teorie della cospirazione potrebbe essere una delle più grandi trappole e minacce che l’umanità affronta con l’adozione su larga scala dei LLM. Ciò potrebbe essere una delle più grandi minacce dell’AGI, una che è sorprendentemente mancata quando si discutono i pericoli dell’AGI.

Prove di intelligenza di GPT-4

L’articolo illustra che non importa quali prompt complessi siano stati diretti verso di esso, GPT-4 ha superato le aspettative. Come affermato nell’articolo:

La sua maestria senza pari del linguaggio naturale. Non solo può generare testo fluido e coerente, ma può anche comprendere e manipolare in vari modi, come riassumere, tradurre o rispondere a un’ampia gamma di domande. Inoltre, con traduzione intendiamo non solo tra lingue naturali diverse, ma anche traduzioni di tono e stile, nonché tra domini come medicina, legge, contabilità, programmazione informatica, musica e altro.

Sono stati forniti recensioni tecniche mock a GPT-4, che ha superato facilmente, il che significa che se questo fosse un essere umano dall’altra parte, sarebbe stato assunto immediatamente come ingegnere software. Un test preliminare della competenza di GPT-4 sull’esame di barra multistato ha mostrato un’accuratezza superiore al 70%. Ciò significa che in futuro potremmo automatizzare molti dei compiti attualmente assegnati agli avvocati. In realtà, ci sono alcune startup che stanno lavorando per creare avvocati robot utilizzando GPT-4.

Produrre nuova conoscenza

Una delle argomentazioni dell’articolo è che l’unica cosa che manca a GPT-4 per dimostrare livelli di comprensione reali è produrre nuova conoscenza, come dimostrare nuovi teoremi matematici, una prodezza che attualmente rimane fuori dalla portata dei LLM.

Quindi di nuovo, questo è il santo graal di un AGI. Mentre ci sono pericoli con un AGI controllato nelle mani sbagliate, i vantaggi di un AGI in grado di analizzare rapidamente tutti i dati storici per scoprire nuovi teoremi, cure e trattamenti sono quasi infiniti.

Un AGI potrebbe essere il collegamento mancante per trovare cure per malattie genetiche rare che attualmente mancano di finanziamenti dell’industria privata, per curare il cancro una volta per tutte e per massimizzare l’efficienza dell’energia rinnovabile per eliminare la nostra dipendenza dalle fonti di energia non sostenibili. In realtà, potrebbe risolvere qualsiasi problema consequenziale che venga inserito nel sistema AGI. Questo è ciò che Sam Altman e il team di OpenAI capiscono, un AGI è veramente l’ultima invenzione necessaria per risolvere la maggior parte dei problemi e beneficiare l’umanità.

Certo, ciò non risolve il problema del pulsante nucleare di chi controlla l’AGI e quali sono le loro intenzioni. Indipendentemente da ciò, questo articolo fa un lavoro fenomenale nel sostenere che GPT-4 è un passo avanti verso la realizzazione del sogno che gli ricercatori di intelligenza artificiale hanno avuto dal 1956, quando il progetto di ricerca estiva di Dartmouth sull’intelligenza artificiale è stato lanciato per la prima volta.

Mentre è discutibile se GPT-4 sia un AGI, potrebbe essere facilmente sostenuto che per la prima volta nella storia dell’umanità è un sistema di intelligenza artificiale che può superare il test di Turing.