Insegnare all’IA a capire e utilizzare le immagini nel dialogo

I ricercatori della Corea del Sud hanno sviluppato un set di dati progettato per aiutare la ricerca sull’IA e sulla sua comprensione di come gli esseri umani utilizzano le immagini nel dialogo, e per aiutare i modelli di linguaggio naturale a partecipare a questo recente sviluppo nelle comunicazioni umane.

Il documento, del KAIST di Daedeok Innopolis, sottolinea che la ricerca su tali sistemi di dialogo multimodali negli ultimi dieci anni è stata ostacolata da set di dati e metodologie che si concentrano su discipline periferiche all’argomento, come la risposta alle domande visive e la didascalia delle immagini.

In questi approcci più vecchi, le immagini vengono valutate al di fuori del contesto lessicale di una conversazione, senza alcuna comprensione di come il dialogo sia arricchito e sviluppato dalle risposte alle immagini, e senza uno schema cross-dominio per decodificare i contributi delle immagini al discorso.

Le immagini come aspetti di primo livello del dialogo

Molti degli approcci menzionati finora sono stati iniziative o sviluppi del braccio di ricerca sull’IA di Microsoft, che nel 2017 ha anche esaminato l’argomento delle conversazioni multimodali che iniziano con un’immagine, piuttosto che utilizzare liberamente le immagini come componenti del dialogo.

Per affrontare la carenza di dati di ricerca, i ricercatori sudcoreani hanno sviluppato un set di dati di 45.000 istanze di dialogo che coinvolgono l’uso ad hoc di immagini, senza concentrarsi su immagini “meme” virali; queste ultime, sebbene siano un’area di interesse nella ricerca linguistica, sono argomenti meno impegnativi, poiché il significato dei meme virali può essere inferito più facilmente attraverso migliaia di utilizzi in contesto sui social media.

Sviluppare illustrazioni come sostituto del testo

Al fine di sviluppare una metodologia per la traslitterazione bilaterale parola/immagine, i ricercatori sudcoreani hanno addestrato un sistema di apprendimento automatico a sostituire parti di una conversazione testuale con contenuto di immagini semanticamente rilevante.

Architettura del sistema coreano per la generazione di un set di dati per la ricerca sul dialogo multimodale. Fonte: https://arxiv.org/pdf/2107.08685.pdf

La pre-elaborazione delle frasi di destinazione ha comportato la cancellazione di parole di stop che potrebbero inibire la previsione della successiva mossa nella conversazione, e la potatura di scambi di qualità inferiore attraverso filtri di similarità contestuale.

Per testare l’utilità del set di dati, i ricercatori hanno impostato un modulo per prevedere la prossima “mossa” nel dialogo, considerando il contesto della conversazione e le immagini coinvolte.

L’interfaccia di valutazione umana utilizzata nella ricerca.

Cinque set di dati esterni sono stati utilizzati come materiale di base per il set di dati di 45k (che è disponibile su GitHub). Tre sono elementi testuali: DailyDialog, un set di dati testuale multi-turn manualmente annotato del 2017; e i set di dati di Facebook EmpatheticDialogues e PersonaChat, entrambi del 2018. I due set di dati basati su immagini utilizzati sono stati MS-COCO e Flicker30k.

Coppie di immagini/testo – schema JSON di frasi nel set di dati, associate a immagini (in questo esempio) dal database di immagini COCO di Microsoft.

La sostituzione testo/immagine per il sistema è stata alimentata dalla rete pre-addestrata Visual Semantic Reasoning Network (VSRN), sviluppata nel 2019 presso la Northeastern University di Boston. VSRN è stata impostata per operare su frasi manualmente pre-selezionate dai set di dati testuali contribuenti.

Stabilire la coerenza

La coerenza dei set di dati di origine è stata stabilita sviluppando sei combinazioni di ogni set di dati di dialogo, correlate a istanze in ogni set di dati di immagini, e valutate su più turni da esseri umani.

La valutazione umana si è basata su tre criteri: coerenza con il contesto dello scambio; rilevanza dell’immagine per il concetto centrale che l’immagine stava cercando di esprimere; e la misura in cui l’immagine conteneva oggetti chiave dalla frase di destinazione.

Considerando l’ultimo criterio, si potrebbe sostenere che lo schema che i ricercatori hanno deciso di utilizzare ha largamente escluso la possibilità di possibilità umoristiche, sarcastiche, astratte o metafisiche per il significato semantico di un’immagine che potrebbe essere iniettata in una conversazione testuale.

Tuttavia, questo è un lavoro seminale, e deve iniziare da qualche parte, mentre vengono fatti notevoli sforzi altrove nel settore dell’elaborazione del linguaggio naturale (NLP) per mappare istanze di sarcasmo, tra gli altri esempi meno tangibili della relazione immagine/testo.

Test

Per testare la struttura di generazione dei dati, i ricercatori hanno utilizzato un modello di recupero a tre parti basato sulla ricerca Image-Chat di Facebook del 2020. Il modulo comprende Resnext-101 come encoder di immagini; BERT di Google per l’encoder di testo; e un modulo di fusione personalizzato per questi.

Il sistema ha raggiunto 50,35 e 14,38 sulla previsione della frase corrente e successiva, migliorando la baseline per ogni compito.

In seguito, due ricercatori sono stati incaricati di creare 100 dialoghi multimodali inserendo immagini nelle conversazioni manualmente, e di eseguire il sistema contro queste conversazioni “organiche” multimodali. Il sistema è stato in grado di prevedere scambi correnti e successivi con alta consapevolezza del contesto, anche per questi esempi ad hoc.

Risultati del test del sistema di generazione di set di dati multimodali coreano, che rivela una correlazione costantemente alta tra la somiglianza testo/immagine e i punteggi delle domande basate sull’uomo sui dati stessi.