Undervisning af AI i at forstå og bruge billeder i dialog

Forskere fra Sydkorea har udviklet en dataset, der er designet til at hjælpe med at forske i, hvordan AI forstår, hvordan mennesker bruger billeder i dialog, og til at hjælpe med at udvikle naturlige sprogmodeller, der kan deltage i denne meget nye udvikling i menneskelig kommunikation.

Den artikel, fra KAIST ved Daedeok Innopolis, bemærker, at forskning i sådanne multimodale dialogsystemer over de sidste ti år har været hæmmet af datasets og metoder, der fokuserer på fagområder, der er perifere i forhold til emnet, såsom visuel spørgsmålssvar og billedbeskrivelse.

I disse ældre tilgange bliver billeder vurderet uden for den leksikale kontekst af en samtale, med ingen forståelse for, hvordan dialogen udvikles og forbedres af billedsvar, og ingen tværfaglig skema for at afkode bidragene fra visuelle bidrag til diskurs.

Billeder som førsteklassesaspekter af dialog

Mange af de ovennævnte tilgange til dags dato har været initiativer eller udviklinger fra Microsofts AI-forskningsafdeling, som i 2017 også undersøgte emnet om multimodale samtaler, der startes af et billede, snarere end at bruge billeder frit som dialogkomponenter.

For at imødekomme manglen på forskningsdata har de sydkoreanske forskere udviklet en dataset på 45.000 dialogeksempler, der involverer det ad hoc-brug af billeder, uden at fokuserer på viruslignende ‘meme’-billeder; sidstnævnte, selvom det er et område af interesse i sprogforskning, er muligvis mindre udfordrende, fordi betydningen af viruslignende memes kan afledes mere let gennem tusinder af kontekstuelle brug på sociale medieplatforme.

Udvikling af illustrationer som erstatning for tekst

For at udvikle en metode til ord/frase->billede tovejs translitteration har de sydkoreanske forskere trænet et maskinelæringssystem til at erstatte dele af en tekstbaseret samtale med semantisk relevant billedindhold.

Arkitektur af det koreanske system til at generere en dataset for multimodal dialogforskning. Kilde: https://arxiv.org/pdf/2107.08685.pdf

Forarbejdning af målfraserne involverede sletning af stop-ord, der kunne hæmme forudsigelse af den følgende replik i samtalen, og beskæring af underordnede kvalitetsudvekslinger via kontekstuelle ligningsfiltre.

For at teste nyttigheden af datasettet satte forskerne en modul til at forudsige den næste ‘runde’ i dialogen, mens de tog hensyn til konteksten af samtalen og de involverede billeder.

Det menneskelige vurderingssystem, der blev brugt i forskningen.

Fem eksterne datasets blev brugt som grundmateriale for 45k-datasettet (der er tilgængelig på GitHub). Tre er tekstbaserede elementer: DailyDialog, en manuelt annoteret multi-turn tekstbaseret sæt fra 2017; og Facebooks EmpatheticDialogues og PersonaChat, begge fra 2018. De to billedbaserede datasets, der blev brugt, var MS-COCO og Flicker30k.

Billede/textræk – JSON-skema af fraser i datasettet, associeret med billeder (i dette eksempel) fra Microsofts COCO-billeddatabase.

Tekst-til-billede-erstatning for systemet blev drevet af det forudtrænede Visuel Semantisk Fornuftsnetværk (VSRN), udviklet i 2019 på Northeastern University i Boston. VSRN blev sat til at fungere på manuelt forudvalgte fraser fra de bidragende tekstdatasets.

Etablering af kohærens

Kohærens af de oprindelige datasets blev etableret ved at udvikle seks kombinationer af hver dialogdataset, korreleret til eksempler i hver billedataset, og vurderet over flere runder af mennesker.

Den menneskelige scoring var baseret på tre kriterier: konsistens med konteksten af udvekslingen; billed-relevans til den centrale idé, billedet forsøgte at udtrykke; og omfanget af, hvilken grad billedet indeholdt nøgleobjekter fra den mål-sætning.

Under betragtning af det sidste kriterium kan det argumenteres, at skemaet, som forskerne besluttede sig for, har stort set udelukket muligheden for humoristiske, sarkastiske, abstrakte eller metafysiske muligheder for den semantiske betydning af et billede, der kan indsprøjttes i en tekst-samtale.

Men dette er banebrydende arbejde, og det skal starte et sted, mens betydelige anstrengelser udføres andre steder i den naturlige sprogbehandling (NLP)-sektor for at kortlægge eksempler på sarkasme, blandt andre mindre tangibelt eksempler på billed-tekst-forholdet.

Test

For at teste data-genereringsrammen brugte forskerne en tre-delers hentingsmodel baseret på Facebooks 2020 Image-Chat-forskning. Modulen består af Resnext-101 som billed-encoder; Googles BERT til tekst-encoder; og en brugerdefineret fusionsmodul til disse.

Systemet opnåede 50,35 og 14,38 på den aktuelle og næste sætning forudsigelse-opgave, og forbedrede grundlinjen for hver opgave.

Senere blev to forskere bedt om at oprette 100 multimodale dialoger ved at indsætte billeder i samtaler manuelt, og køre systemet mod disse ‘organiske’ multimodale samtaler. Systemet kunne forudsige aktuelle og næste-runde-udvekslinger med høj bevidsthed om kontekst, selv for disse ad hoc-eksempler.

Resultater af testen for det koreanske multimodale dataset-genereringssystem, der viser en konsekvent høj korrelation mellem tekst-til-billede-lighed og menneskebaserede spørgsmålsscores på de samme data.