Google prevede un sistema di query simile a GPT-3, senza risultati di ricerca

Un nuovo documento di quattro ricercatori di Google propone un sistema ‘esperto’ in grado di rispondere in modo autorevole alle domande degli utenti senza presentare una lista di possibili risultati di ricerca, simile al paradigma di Q&A che è stato portato all’attenzione del pubblico attraverso l’avvento di GPT-3 nell’ultimo anno.

Il documento, intitolato Ripensare la ricerca: rendere gli esperti fuori dai dilettanti, suggerisce che l’attuale standard di presentazione all’utente di una lista di risultati di ricerca in risposta a una richiesta è un ‘onere cognitivo’, e propone miglioramenti nella capacità di un sistema di elaborazione del linguaggio naturale (NLP) di fornire una risposta autorevole e definitiva.

Sotto il modello proposto di un ‘esperto’, un oracolo cross-domain, le migliaia di possibili fonti di risultati di ricerca saranno incorporate in un modello linguistico invece di essere disponibili esplicitamente come risorsa esplorativa per gli utenti da valutare e navigare. Fonte: https://arxiv.org/pdf/2105.02274.pdf

Il documento, guidato da Donald Metzler presso Google Research, propone miglioramenti nel tipo di risposte oracle multi-dominio che possono essere attualmente ottenute da modelli linguistici autoregressivi di apprendimento profondo come GPT-3. I principali miglioramenti previsti sono a) che il modello sarebbe in grado di citare con precisione le fonti che hanno informato la risposta, e b) che il modello sarebbe impedito a ‘allucinare‘ risposte o inventare materiale di fonte non esistente, che è attualmente un problema con tali architetture.

Formazione multi-dominio e capacità

Inoltre, il modello linguistico proposto, caratterizzato nel documento come ‘Un singolo modello per tutti i compiti di recupero delle informazioni’, sarebbe addestrato su una varietà di domini, comprese immagini e testo. Sarebbe anche necessario avere una comprensione della provenienza della conoscenza, che manca nelle architetture di stile GPT-3.

‘Per sostituire gli indici con un singolo modello unificato, è necessario che il modello stesso abbia conoscenza dell’universo degli identificatori di documenti, allo stesso modo in cui fanno gli indici tradizionali. Un modo per realizzare questo è spostarsi dagli LM tradizionali verso modelli di corpus che modellano congiuntamente le relazioni termine-termine, termine-documento e documento-documento.’

Nell’immagine sopra, dal documento, tre approcci in risposta a una richiesta dell’utente: a sinistra, i modelli linguistici impliciti nei risultati di ricerca algoritmici di Google hanno scelto e prioritizzato una ‘risposta migliore’, ma l’hanno lasciata come il risultato principale di molti. Al centro, una risposta conversazionale di stile GPT-3, che parla con autorità, ma non giustifica le proprie affermazioni o cita le fonti. A destra, il sistema esperto proposto incorpora la ‘risposta migliore’ dai risultati di ricerca classificati direttamente in una risposta didattica, con citazioni in stile accademico (non rappresentate nell’immagine originale) che indicano le fonti che informano la risposta.

Rimuovere i risultati velenosi e inaccurati

I ricercatori notano che la natura dinamica e costantemente aggiornata degli indici di ricerca è una sfida per replicare interamente in un modello di apprendimento automatico di questo tipo. Ad esempio, dove una fonte un tempo affidabile è stata addestrata direttamente nella comprensione del modello del mondo, rimuovere la sua influenza (ad esempio, dopo che è stata screditata) potrebbe essere più difficile che semplicemente rimuovere un URL dai SERP, poiché i concetti di dati possono diventare astratti e ampiamente rappresentati durante l’assimilazione nell’addestramento.

Inoltre, un tale modello dovrebbe essere addestrato in modo continuo per fornire lo stesso livello di risposta ai nuovi articoli e pubblicazioni come attualmente fornito dal costante spidering delle fonti di Google. Ciò significa essenzialmente un rollout continuo e automatizzato, in contrasto con il regime attuale, in cui vengono apportate modifiche minori ai pesi e alle impostazioni dell’algoritmo di ricerca libero, ma l’algoritmo stesso viene usualmente aggiornato solo raramente.

Superfici di attacco per un oracolo esperto centralizzato

Un modello centralizzato che assimila e generalizza continuamente nuovi dati potrebbe trasformare la superficie di attacco per le richieste di ricerca.

Attualmente, un attaccante può ottenere un vantaggio raggiungendo un alto ranking per domini o pagine che contengono informazioni false o codice maligno. Sotto l’egida di un oracolo ‘esperto’ più opaco, l’opportunità di reindirizzare gli utenti a domini di attacco è notevolmente diminuita, ma la possibilità di iniettare attacchi di dati velenosi è notevolmente aumentata.

Ciò è dovuto al fatto che il sistema proposto non elimina l’algoritmo di classificazione della ricerca, ma lo nasconde all’utente, automatizzando efficacemente la priorità del risultato/i principale/i e incorporandolo/i in una dichiarazione didattica. Gli utenti maligni sono stati in grado di orchestrare attacchi contro l’algoritmo di ricerca di Google per vendere prodotti falsi, dirigere gli utenti a domini che diffondono malware, o per scopi di manipolazione politica, tra molti altri casi d’uso.

Non AGI

I ricercatori sottolineano che un tale sistema sarebbe improbabile da qualificare come Intelligenza Artificiale Generale (AGI) e collocano la prospettiva di un risponditore universale esperto nel contesto dell’elaborazione del linguaggio naturale, soggetto a tutte le sfide che tali modelli attualmente affrontano.

Il documento delinea cinque requisiti per una ‘risposta di alta qualità’:

1: Autorità
Come con gli algoritmi di classificazione attuali, l”autorità’ sembra essere derivata dalla citazione di domini di alta qualità considerati autorevoli in se stessi. I ricercatori osservano:

‘Le risposte dovrebbero generare contenuti attingendo da fonti altamente autorevoli. Questo è un altro motivo per cui stabilire collegamenti più espliciti tra sequenze di termini e metadati del documento è così cruciale. Se tutti i documenti in un corpus sono annotati con un punteggio di autorevolezza, quel punteggio dovrebbe essere preso in considerazione durante l’addestramento del modello, la generazione di risposte o entrambi.’

Sebbene i ricercatori non suggeriscano che i risultati di ricerca tradizionali diventerebbero indisponibili se un oracolo esperto di questo tipo fosse trovato performante e popolare, l’intero documento presenta il sistema di classificazione tradizionale e le liste di risultati di ricerca, alla luce di un sistema di recupero delle informazioni ‘vecchio di decenni’ e superato.

‘Il fatto stesso che la classificazione sia un componente critico di questo paradigma è un sintomo del sistema di recupero che fornisce agli utenti una selezione di risposte potenziali, che induce un onere cognitivo piuttosto significativo sull’utente. Il desiderio di restituire risposte invece di elenchi classificati di risultati è stato uno dei fattori motivanti per lo sviluppo di sistemi di risposta alle domande. ‘

2: Trasparenza
I ricercatori commentano:

‘Ogni volta che possibile, la provenienza delle informazioni presentate all’utente dovrebbe essere resa disponibile. È questa la fonte primaria di informazione? Se no, qual è la fonte primaria?’

3: Gestione del bias
Il documento nota che i modelli linguistici pre-addestrati sono progettati non per valutare la verità empirica, ma per generalizzare e dare priorità alle tendenze dominanti nei dati. Ammette che questa direttiva apre il modello all’attacco (come è accaduto con il chatbot razzista non intenzionale di Microsoft nel 2016), e che saranno necessari sistemi ausiliari per salvaguardare contro tali risposte del sistema bias.
4: Abilitazione di prospettive diverse
Il documento propone anche meccanismi per garantire una pluralità di punti di vista:

‘Le risposte generate dovrebbero rappresentare una gamma di prospettive diverse, ma non dovrebbero essere polarizzanti. Ad esempio, per le richieste su argomenti controversi, entrambi i lati dell’argomento dovrebbero essere trattati in modo equilibrato e imparziale. Ciò ha ovviamente stretti legami con il bias del modello.’

5: Linguaggio accessibile
Oltre a fornire traduzioni accurate nei casi in cui la risposta autorevole ritenuta è in una lingua diversa, il documento suggerisce che le risposte incorporate dovrebbero essere ‘scritte in termini il più possibile chiari’.