L’introduzione e l’evoluzione dell’intelligenza artificiale generativa sono state così improvvise e intense che è davvero difficile apprezzare appieno quanto questa tecnologia abbia cambiato le nostre vite.

Facciamo un passo indietro di soli tre anni. Sì, l’AI stava diventando più pervasiva, almeno in teoria. Più persone conoscevano alcune delle cose che poteva fare, anche se c’erano enormi fraintendimenti sulle capacità dell’AI. In qualche modo la tecnologia aveva ricevuto contemporaneamente troppo poco e troppo credito per ciò che poteva effettivamente realizzare. Tuttavia, la persona media poteva indicare almeno un’area in cui l’AI era all’opera, eseguendo compiti altamente specializzati abbastanza bene, in ambienti altamente controllati. Oltre a ciò, era o ancora in un laboratorio di ricerca o semplicemente non esisteva.

Confrontiamo questo con oggi. Con zero abilità, tranne quella di scrivere una frase o fare una domanda, il mondo è a portata di mano. Possiamo generare immagini, musica e addirittura film che sono veramente unici e incredibili e hanno la capacità di disturbare intere industrie. Possiamo aumentare il nostro processo di ricerca, facendo una semplice domanda che, se formulata correttamente, può generare pagine di contenuti personalizzati abbastanza buoni da sembrare scritti da uno studioso universitario … o da un bambino di terza elementare se specificiamo il punto di vista. Mentre sono diventate quasi comuni in soli un paio di anni, queste capacità erano considerate assolutamente impossibili solo pochi anni fa. Il campo dell’intelligenza artificiale generativa esisteva, ma non aveva ancora decollato.

Oggi, molte persone hanno sperimentato l’intelligenza artificiale generativa come ChatGPT, Midjourney o altri strumenti. Altri l’hanno già incorporata nella loro vita quotidiana. La velocità con cui queste tecnologie sono evolute è impressionante, al punto da essere quasi allarmante. E considerando i progressi degli ultimi sei mesi, non abbiamo dubbi che saremo sbalorditi, più e più volte, nei prossimi anni.

Uno strumento specifico in gioco all’interno dell’intelligenza artificiale generativa è stata la performance dei sistemi di generazione aumentata da recupero (RAG) e la loro capacità di pensare attraverso query particolarmente complesse. L’introduzione del dataset FRAMES, spiegato nel dettaglio all’interno di un articolo su come funziona il dataset di valutazione, mostra sia dove si trova attualmente lo stato dell’arte, sia dove si sta dirigendo. Anche solo pochi mesi dopo l’introduzione di FRAMES alla fine del 2024, un certo numero di piattaforme ha già battuto nuovi record nella loro capacità di ragionare attraverso query difficili e complesse.

Scendiamo nel dettaglio di ciò che FRAMES è progettato per valutare e di come si stanno comportando i diversi modelli di intelligenza artificiale generativa. Possiamo vedere come sia la decentralizzazione che le piattaforme open-source non solo stanno tenendo il passo (in particolare Sentient Chat), ma stanno anche permettendo agli utenti di avere una chiara visione dell’incredibile ragionamento che alcuni modelli di intelligenza artificiale sono in grado di raggiungere.

FRAMES come una finestra nel cervello della GenAI

Il dataset FRAMES e il suo processo di valutazione si concentrano su 824 domande “multi-hop” progettate per richiedere inferenza, connessioni logiche, l’uso di diverse fonti per recuperare informazioni chiave e la capacità di unirle logicamente per rispondere alla domanda. Le domande richiedono tra due e 15 documenti per rispondere correttamente e includono anche vincoli, calcoli matematici e deduzioni, nonché la capacità di elaborare logica basata sul tempo. In altre parole, queste domande sono estremamente difficili e rappresentano in realtà compiti di ricerca nel mondo reale che un essere umano potrebbe intraprendere su Internet. Affrontiamo queste sfide ogni giorno e dobbiamo cercare i pezzi di informazione chiave sparsi in un mare di fonti Internet, unendo le informazioni in base a diversi siti, creando nuova informazione attraverso calcoli e deduzioni e capendo come consolidare questi fatti in una risposta corretta alla domanda.

Ciò che i ricercatori hanno scoperto quando il dataset è stato rilasciato e testato per la prima volta è che i migliori modelli di GenAI erano in grado di essere abbastanza precisi (circa il 40%) quando dovevano rispondere utilizzando metodi a un solo passo, ma potevano raggiungere una precisione del 73% se autorizzati a raccogliere tutti i documenti necessari per rispondere alla domanda. Sì, il 73% potrebbe non sembrare una rivoluzione. Ma se si capisce esattamente cosa deve essere risposto, il numero diventa molto più impressionante.

Ad esempio, una particolare domanda è: “In che anno è nato il leader del gruppo che ha originariamente eseguito la canzone campionata nella canzone di Kanye West ‘Power’?” Come farebbe un essere umano a risolvere questo problema? La persona potrebbe capire che deve raccogliere vari elementi di informazione, come i testi della canzone di Kanye West intitolata “Power”, e poi essere in grado di ascoltare la canzone (anche se non familiare con essa) e capire quando una canzone diversa è campionata.

Ma pensiamoci: cosa dovrebbe fare un modello di GenAI per rilevare una canzone diversa dall’originale mentre “ascolta” la canzone? Questo è il punto in cui una domanda semplice diventa un ottimo test di intelligenza artificiale veramente intelligente. E se riuscissimo a trovare la canzone, ascoltarla e identificare i testi campionati, quello è solo il passo 1. Dobbiamo ancora scoprire il nome della canzone, il nome del gruppo, chi è il leader di quel gruppo e quale anno è nato quella persona.

FRAMES mostra che per rispondere a domande realistiche, è necessaria una enorme quantità di elaborazione del pensiero. Due cose vengono in mente qui.

Innanzitutto, la capacità dei modelli di GenAI decentralizzati di non competere solo, ma potenzialmente dominare i risultati, è incredibile. Un numero crescente di aziende sta utilizzando il metodo decentralizzato per aumentare le proprie capacità di elaborazione mentre assicura che una grande comunità possieda il software, non una scatola nera centralizzata che non condividerà i propri progressi. Aziende come Perplexity e Sentient stanno guidando questa tendenza, ognuna con modelli formidabili che si esibiscono al di sopra dei primi record di accuratezza quando FRAMES è stato rilasciato.

Il secondo elemento è che un numero più piccolo di questi modelli di intelligenza artificiale non solo è decentralizzato, ma è anche open-source. Ad esempio, Sentient Chat è entrambi, e i primi test mostrano quanto complesso possa essere il suo ragionamento, grazie all’accesso open-source inestimabile. La domanda FRAMES sopra è risposta utilizzando lo stesso processo di pensiero che un essere umano utilizzerebbe, con i dettagli del ragionamento disponibili per la revisione. Forse ancora più interessante, la loro piattaforma è strutturata come una serie di modelli che possono regolare una prospettiva e una prestazione data, anche se il processo di regolazione in alcuni modelli di GenAI comporta una diminuzione dell’accuratezza. Nel caso di Sentient Chat, sono stati sviluppati molti modelli diversi. Ad esempio, un modello recente chiamato “Dobby 8B” è in grado non solo di superare il benchmark FRAMES, ma anche di sviluppare un atteggiamento distintamente pro-crypto e pro-libertà, che influenza la prospettiva del modello mentre elabora pezzi di informazione e sviluppa una risposta.

All’orizzonte

La chiave di tutte queste innovazioni sorprendenti è la rapidità con cui siamo arrivati fin qui. Dobbiamo riconoscere che, veloce come questa tecnologia è evoluta, evolverà ancora più velocemente nel prossimo futuro. Saremo in grado di vedere, soprattutto con i modelli di GenAI decentralizzati e open-source, quella soglia cruciale in cui l’intelligenza del sistema inizia a superare sempre più la nostra, e cosa significhi per il futuro.