Å lære AI å forstå og bruke bilder i dialog

Forskere fra Sør-Korea har utviklet en datasett som er designet for å hjelpe med forskning på hvordan AI kan forstå hvordan mennesker bruker bilder i dialog, og å hjelpe naturlige språkmodeller å delta i denne svært nye utviklingen i menneskelig kommunikasjon.

Den artikkelen, fra KAIST ved Daedeok Innopolis, påpeker at forskning på slike multimodale dialogsystemer over de siste ti årene har vært hindret av datasett og metoder som fokuserer på fagområder som er perifere til emnet, som visuell spørsmål besvaring og bildetekst.

I disse eldre tilnærmingene blir bildene evaluert utenfor den leksikale konteksten av en samtale, uten å forstå hvordan dialogen utvikles og forbedres av bilde-svar, og uten en tverrfaglig skjema for å avkode bidragene fra visuelle bidrag til diskursen.

Bilder som likeverdige deler av dialog

Mange av de ovennevnte tilnærmingene til dags dato har vært initiativer eller utviklinger fra Microsofts AI-forskningsavdeling, som i 2017 også undersøkte emnet multimodale samtaler som starter med et bilde, i stedet for å fritt bruke bilder som dialogkomponenter.

For å løse mangelen på forskningsdata, har de sørkoreanske forskerne utviklet en datasett på 45 000 samtale-eksempler som involverer ad hoc-bruk av bilder, uten å fokusere på viruslignende ‘meme’-bilder; disse sistnevnte, selv om de er et område av interesse i språkforskning, er kanskje mindre utfordrende, fordi betydningen av viruslignende memes kan sluttes mer enkelt gjennom tusenvis av kontekstuelle bruk på sosiale medier-plattformer.

Utvikling av illustrasjoner som erstatning for tekst

For å utvikle en metode for å oversette ord/frase > bilde til tovegs-translitterasjon, har de sørkoreanske forskerne trent en maskinlæringsmodell til å erstatte deler av en tekstbasert samtale med semantisk relevant bildeinnhold.

Arkitektur for det koreanske systemet for å generere en datasett for multimodale samtaleforskning. Kilde: https://arxiv.org/pdf/2107.08685.pdf

Førbehandling av målsetningene involverte sletting av stoppord som kunne hindre forutsigelse av den påfølgende samtalen, og beskjæring av dårlige kvalitetsutvekslinger via kontekstuelle likhetsfilter.

For å teste nyttelsen av datasetten, satte forskerne en modul til å forutsi den neste ‘runden’ i samtalen mens de tok hensyn til konteksten av samtalen og bildene som var involvert.

Det menneskelige vurderingssystemet som ble brukt i forskningen.

Fem eksterne datasett ble brukt som basis for 45k-datasetten (som er tilgjengelig på GitHub). Tre er tekstbaserte elementer: DailyDialog, en manuelt annotert multi-turn tekstbasert sett fra 2017; og Facebooks EmpatheticDialogues og PersonaChat, begge fra 2018. De to bildebaserte datasettene som ble brukt var MS-COCO og Flicker30k.

Bilde/tekst-par – JSON-skjema for fraser i datasetten, assosiert med bilder (i dette eksemplet) fra Microsofts COCO-bildebasis.

Tekst-til-bilde-erstatning for systemet ble drevet av den forhånds-trente Visuell Semantisk Resonansnettverk (VSRN), utviklet i 2019 ved Northeastern University i Boston. VSRN ble satt til å fungere på manuelt forhånd-valgte fraser fra de bidragende tekst-datasettene.

Etter å ha etablert kohesjon

Kohesjon av kilde-datasettene ble etablert ved å utvikle seks kombinasjoner av hver samtale-datasett, korrelert med eksempler i hver bilde-datasett, og evaluert over flere runder av mennesker.

Den menneskelige vurderingen var basert på tre kriterier: konsistens til konteksten av utvekslingen; bilde-relevans til det sentrale konseptet bildet forsøkte å uttrykke; og omfanget av hvilken grad bildet inneholdt nøkkel-objekter fra målsetningen.

Med hensyn til det sistnevnte kriteriet, kan det argumenteres for at skjemaet forskerne bestemte seg for å bruke, har i stor grad diskvalifisert muligheten for humoristiske, sarkastiske, abstrakte eller metafysiske muligheter for den semantiske betydningen av et bilde som kan injiseres i en tekst-samtale.

Men dette er banebrytende arbeid, og det må starte et sted, mens betraktelige anstrengelser blir gjort andre steder i det naturlige språkbehandlings-sektoren for å karte instanser av sarkasme, blant andre mindre tangibile eksempler på bilde/tekst-forholdet.

Testing

For å teste data-genereringsrammen, brukte forskerne en tre-delt innhenting-modell basert på Facebooks 2020 Image-Chat-forskning. Modulen består av Resnext-101 som bilde-encoder; Googles BERT for tekst-encoder; og en tilpasset fusjonsmodul for disse.

Systemet oppnådde 50,35 og 14,38 på den nåværende og neste setningens forutsigelse-oppgave, og forbedret grunnlinjen for hver oppgave.

Senere ble to forskere bedt om å lage 100 multimodale samtaler ved å sette inn bilder i samtaler manuelt, og kjøre systemet mot disse ‘organiske’ multimodale samtaler. Systemet var i stand til å forutsi nåværende og neste-runde-utvekslinger med høy bevissthet om konteksten, selv for disse ad-hoc-eksemplene.

Resultater fra testingen av det koreanske multimodale datasett-genereringssystemet, som viser en konsekvent høy korrelasjon mellom tekst-til-bilde-lignende og menneske-basert spørsmål-poeng på samme data.