GPT-4 è un balzo in avanti verso il raggiungimento dell'AGI?

Microsoft ha recentemente pubblicato un documento di ricerca intitolato: Scintille di intelligenza artificiale generale: primi esperimenti con GPT-4. Come descritto da Microsoft:

Questo articolo riferisce sulla nostra indagine su una prima versione di GPT-4, quando era ancora in fase di sviluppo attivo da parte di OpenAI. Sosteniamo che (questa prima versione di) GPT-4 fa parte di una nuova coorte di LLM (insieme a ChatGPT e PaLM di Google, ad esempio) che mostrano un'intelligenza più generale rispetto ai precedenti modelli di intelligenza artificiale.

In questo documento, ci sono prove conclusive che dimostrano che GPT-4 va ben oltre la memorizzazione e che ha una comprensione profonda e flessibile di concetti, abilità e domini. Infatti la sua capacità di generalizzare supera di gran lunga quella di qualsiasi essere umano vivente oggi.

Mentre abbiamo discusso in precedenza il vantaggi dell'AGI, dovremmo riassumere rapidamente il consenso generale su cosa sia un sistema AGI. In sostanza, un'AGI è un tipo di IA avanzata che può essere generalizzata su più domini e non ha una portata ristretta. Esempi di intelligenza artificiale ristretta includono un veicolo autonomo, un chatbot, un bot di scacchi o qualsiasi altra intelligenza artificiale progettata per un unico scopo.

Un AGI in confronto sarebbe in grado di alternare in modo flessibile tra uno qualsiasi dei precedenti o qualsiasi altro campo di competenza. È un'intelligenza artificiale che trarrebbe vantaggio da algoritmi nascenti come trasferire l'apprendimentoe apprendimento evolutivo, sfruttando anche algoritmi legacy come apprendimento approfondito di rinforzo.

La descrizione sopra di AGI corrisponde alla mia esperienza personale con l'utilizzo di GPT-4, nonché alle prove condivise nel documento di ricerca rilasciato da Microsoft.

Uno dei suggerimenti delineati nel documento è che GPT-4 scriva una prova dell'infinità dei numeri primi sotto forma di poesia.

Se analizziamo i requisiti per creare una tale poesia, ci rendiamo conto che richiede ragionamento matematico, espressione poetica e generazione del linguaggio naturale. Questa è una sfida che supererebbe la capacità media della maggior parte degli esseri umani.

L'articolo voleva capire se GPT-4 stesse semplicemente producendo contenuti basati sulla memorizzazione generale piuttosto che sulla comprensione del contesto e sulla capacità di ragionare. Quando gli è stato chiesto di ricreare una poesia nello stile di Shakespeare, è stato in grado di farlo. Ciò richiede un livello di comprensione multiforme che supera di gran lunga le capacità della popolazione generale e include la teoria della mente e il genio matematico.

Come calcolare l'intelligenza GPT-4?

La domanda diventa quindi come possiamo misurare l'intelligenza di un LLM? E GPT-4 mostra comportamenti di vero apprendimento o mera memorizzazione?

Il modo attuale di testare un sistema di intelligenza artificiale consiste nel valutare il sistema su una serie di set di dati di riferimento standard e garantire che siano indipendenti dai dati di addestramento e che coprano una gamma di compiti e domini. Questo tipo di test è quasi impossibile a causa della quantità quasi illimitata di dati su cui è stato addestrato GPT-4.

L'articolo discute la creazione di compiti/domande nuovi e difficili che dimostrano in modo convincente che GPT-4 va ben oltre la memorizzazione e che ha una comprensione profonda e flessibile di concetti, abilità e domini.

Quando si tratta di intelligenza, GPT-4 può generare racconti, sceneggiature e può calcolare le formule più complicate.

GPT-4 è anche in grado di codificare ad un livello molto alto, sia in termini di scrittura del codice dalle istruzioni che di comprensione del codice esistente. GPT-4 può gestire un'ampia gamma di attività di codifica, da
sfide di codifica alle applicazioni del mondo reale, dall'assemblaggio di basso livello ai framework di alto livello, dalle semplici strutture di dati ai programmi complessi come i giochi. GPT-4 può anche ragionare sull'esecuzione del codice, simulare gli effetti delle istruzioni e spiegare i risultati in linguaggio naturale. GPT-4 può persino eseguire pseudocodice,

GPT-4 può offrire risposte razionali a quasi tutti i suggerimenti dati. Infatti, la sua intelligenza è quasi invincibile nella sua complessità.

Limitazioni GPT-4

Il documento continua quindi a descrivere come hanno sondato le risposte e i comportamenti di GPT-4, per verificarne la coerenza, la coerenza e la correttezza e per scoprire i suoi limiti e pregiudizi.

La limitazione più evidente è la sua tendenza alle allucinazioni. Ecco un esempio di allucinazione che viene fornito nel documento in cui GPT-4 era fiducioso nella sua risposta che era completamente falsa.

Sembra che anche GPT-4 comprenda questa limitazione attuale con le allucinazioni poiché questa è stata la risposta che ha dato quando gli ho chiesto cosa fosse un'allucinazione GPT:

Un'allucinazione GPT si riferisce a un fenomeno in cui un modello GPT (Generative Pre-trained Transformer), come quello con cui stai attualmente interagendo, produce una risposta che non si basa su informazioni fattuali o non è coerente con il contesto fornito. Queste allucinazioni si verificano quando il modello genera un testo che può sembrare plausibile ma in realtà è errato, fuorviante o privo di senso.

In altre parole, quando alleni un LLM AI sui dati del mondo, come eviti che un sistema apprenda dati errati? Un grande modello linguistico che impara e rigurgita disinformazione e teorie del complotto potrebbero effettivamente essere una delle più grandi insidie ​​​​e minacce che l'umanità deve affrontare con l'adozione su larga scala di LLM. Questa potrebbe effettivamente essere una delle maggiori minacce dell'AGI, una che viene sorprendentemente persa quando si discute dei pericoli dell'AGI.

GPT-4 Prove di intelligenza

Il documento illustra che non importa quale tipo di prompt complessi fosse diretto verso di esso, GPT-4 avrebbe superato le aspettative. Come si legge nel documento:

La sua impareggiabile padronanza del linguaggio naturale. Non solo può generare un testo fluido e coerente, ma anche comprenderlo e manipolarlo in vari modi, come riassumere, tradurre o rispondere a una serie estremamente ampia di domande. Inoltre, per traduzione intendiamo non solo tra diverse lingue naturali, ma anche traduzioni nel tono e nello stile, nonché tra domini come medicina, diritto, contabilità, programmazione informatica, musica e altro ancora.

A GPT-4 sono state fornite revisioni tecniche fittizie, in questo contesto ha facilmente superato il significato se si trattava di un essere umano dall'altra parte che sarebbe stato immediatamente assunto come ingegnere del software. Un simile test preliminare della competenza di GPT-4 sull'esame di avvocato multistato ha mostrato un'accuratezza superiore al 70%. Ciò significa che in futuro potremmo automatizzare molti dei compiti attualmente affidati agli avvocati. In effetti ce ne sono alcuni startup che ora stanno lavorando per creare avvocati robot utilizzando GPT-4.

Produrre nuova conoscenza

Uno degli argomenti nel documento è che l'unica cosa rimasta a GPT-4 per dimostrare i veri livelli di comprensione è produrre nuove conoscenze, come dimostrare nuovi teoremi matematici, un'impresa che attualmente rimane fuori dalla portata dei LLM.

Poi di nuovo questo è il Santo Graal di un AGI. Mentre ci sono pericoli con un AGI controllato nelle mani sbagliate, i vantaggi di un AGI in grado di analizzare rapidamente tutti i dati storici per scoprire nuovi teoremi, cure e trattamenti sono quasi infiniti.

Un AGI potrebbe essere l'anello mancante verso la ricerca di cure per malattie genetiche rare che attualmente mancano di finanziamenti da parte dell'industria privata, verso la cura del cancro una volta per tutte e per massimizzare l'efficienza dell'energia rinnovabile per rimuovere la nostra dipendenza dall'energia insostenibile. In effetti potrebbe risolvere qualsiasi problema consequenziale che viene immesso nel sistema AGI. Questo è ciò che capiscono Sam Altman e il team di OpenAI, an AGI è veramente l'ultima invenzione che è necessario per risolvere la maggior parte dei problemi e per beneficiare l'umanità.

Ovviamente ciò non risolve il problema del pulsante nucleare di chi controlla l'AGI e quali sono le sue intenzioni. A prescindere da questo carta fa un lavoro fenomenale sostenendo che GPT-4 è un balzo in avanti verso il raggiungimento del sogno che i ricercatori di intelligenza artificiale hanno avuto dal 1956, quando è stato lanciato per la prima volta il seminario estivo Dartmouth Summer Research Project on Artificial Intelligence.

Sebbene sia discutibile se GPT-4 sia un AGI, si potrebbe facilmente sostenere che per la prima volta nella storia umana è un sistema di intelligenza artificiale in grado di superare il Test di Turing.