Het onderwijzen van AI om beelden te begrijpen en te gebruiken in dialoog

Onderzoekers uit Zuid-Korea hebben een dataset ontwikkeld om onderzoek te ondersteunen naar de manier waarop AI beelden in dialoog begrijpt, en om natuurlijke taalmodellen te helpen deelnemen aan deze recente ontwikkeling in menselijke communicatie.

Het artikel, van KAIST in Daedeok Innopolis, merkt op dat onderzoek naar dergelijke multimodale dialoogsystemen in de afgelopen tien jaar is gehinderd door datasets en methodologieën die zijn gericht op disciplines die perifeer zijn aan het onderwerp, zoals visuele vraagbeantwoording en beeldonderschriften.

In deze oudere benaderingen worden beelden buiten de lexicale context van een conversatie beoordeeld, zonder enig begrip van de manier waarop de dialoog wordt versterkt en ontwikkeld door beeldreacties, en zonder cross-domeinschema voor het decoderen van de bijdragen van visuele bijdragen aan de discours.

Beelden als eerste-klasse facetten van dialoog

Veel van de bovengenoemde benaderingen tot nu toe zijn initiatieven of ontwikkelingen van Microsoft’s AI-onderzoeksafdeling, die in 2017 ook onderzocht het onderwerp van multimodale conversaties die worden gestart door een beeld, in plaats van vrijwillig beelden te gebruiken als dialoogcomponenten.

Om de tekortkoming in onderzoeksgegevens aan te pakken, hebben de Zuid-Koreaanse onderzoekers een dataset van 45.000 dialoogvoorbeelden ontwikkeld met het ad hoc gebruik van beelden, zonder zich te concentreren op virusachtige ‘meme’-beelden; het laatste, hoewel een interessant onderwerp in taalonderzoek, is mogelijk minder een uitdaging, omdat de betekenis van virusachtige memes gemakkelijker kan worden afgeleid door duizenden contextuele gebruiken op sociale media-platforms.

Het ontwikkelen van illustraties als vervanging voor tekst

Om een methodologie te ontwikkelen voor woord/zin>beeld bilaterale transliteratie, hebben de Zuid-Koreaanse onderzoekers een machine learning-systeem getraind om delen van een tekstgebaseerde conversatie te vervangen door semantisch relevante beeldinhoud.

Architectuur van het Koreaanse systeem voor het genereren van een dataset voor multimodale dialoogonderzoek. Bron: https://arxiv.org/pdf/2107.08685.pdf

De voorbewerking van de doelzinnen omvatte het verwijderen van stopwoorden die de voorspelling van de volgende zin in de conversatie zouden kunnen belemmeren, en het snoeien van inferieure kwaliteituitwisselingen via contextuele overeenkomstfilters.

Om de bruikbaarheid van de dataset te testen, hebben de onderzoekers een module ingesteld om de volgende ‘beurt’ in de dialoog te voorspellen, waarbij rekening wordt gehouden met de context van de conversatie en de beelden die zijn betrokken.

Het door de mens geëvalueerde GUI dat in het onderzoek wordt gebruikt.

Vijf externe datasets werden gebruikt als basis voor de 45k-dataset (die beschikbaar is op GitHub). Drie zijn tekstgebaseerde elementen: DailyDialog, een handmatig geannoteerde multi-turn tekstgebaseerde set uit 2017; en Facebook’s EmpatheticDialogues en PersonaChat, beide uit 2018. De twee beeldgebaseerde datasets die werden gebruikt, waren MS-COCO en Flicker30k.

Beeld/tijd-paren – JSON-schema van zinnen in de dataset, geassocieerd met beelden (in dit voorbeeld) uit Microsoft’s COCO-beelddatabase.

Tekst-naar-beeldvervanging voor het systeem werd aangedreven door het vooraf getrainde Visuele Semantische Redeneringsnetwerk (VSRN), ontwikkeld in 2019 aan de Northeastern University in Boston. VSRN werd ingesteld om te werken op handmatig geselecteerde zinnen uit de bijdragende tekstdatasets.

Coherentie vaststellen

De coherentie van de bron-datasets werd vastgesteld door zes combinaties van elke dialoogdataset te ontwikkelen, gerelateerd aan instanties in elke beelddataset, en geëvalueerd over meerdere ronden door mensen.

De menselijke scoring was gebaseerd op drie criteria: consistentie met de context van de uitwisseling; beeldrelevantie voor het centrale concept dat het beeld probeerde uit te drukken; en de mate waarin het beeld sleutelobjecten uit de doelzin bevatte.

Als we het laatste criterium in overweging nemen, kan worden betoogd dat het schema dat de onderzoekers hebben gekozen, grotendeels de mogelijkheid van humoristische, sarcastische, abstracte of metafysische mogelijkheden voor de semantische betekenis van een beeld dat in een tekstconversatie kan worden geïnjecteerd, heeft uitgesloten.

Echter, dit is baanbrekend werk, en het moet ergens beginnen, terwijl aanzienlijke inspanningen elders in de sector Natuurlijke Taalverwerking (NLP) worden geleverd om voorbeelden van sarcasme in kaart te brengen, onder andere minder tastbare voorbeelden van de beeld/tijdrelatie.

Testen

Om het datageneratiekader te testen, hebben de onderzoekers een drievoudig opvraagmodel gebruikt op basis van Facebook’s 2020 Image-Chat-onderzoek. De module bestaat uit Resnext-101 als beeldencoder; Google’s BERT voor de tekstencoder; en een aangepaste fusiemodule voor deze.

Het systeem behaalde 50,35 en 14,38 op de huidige en volgende zinvoorspellingsopdracht, waarmee het de baseline voor elke opdracht verbeterde.

Later kregen twee onderzoekers de taak om 100 multimodale dialogen te creëren door beelden handmatig in conversaties in te voegen en het systeem tegen deze ‘organische’ multimodale conversaties te laten lopen. Het systeem kon de huidige en volgende beurtuitwisselingen voorspellen met een hoog bewustzijn van context, zelfs voor deze ad hoc-voorbeelden.

Resultaten van de testen voor het Koreaanse multimodale datageneratiesysteem, waaruit blijkt dat er een consistent hoge correlatie bestaat tussen tekst-beeldovereenkomst en menselijke vraagscores op dezelfde gegevens.