Opettaminen AI: n ymmärtämään ja käyttämään kuvia vuoropuhelussa

Tutkijat Etelä-Koreasta ovat kehittäneet tietokannan, joka on tarkoitettu avustamaan tutkimusta AI: n ymmärtämisestä siitä, miten ihmiset käyttävät kuvia vuoropuhelussa, ja auttamaan luonnollisen kielen malleja osallistumaan tähän viimeaikaiseen kehitykseen ihmisten viestinnässä.

Tutkimusraportti, joka on tehty KAIST: ssa Daedeok Innopoliksessa, toteaa, että tutkimus monimodaalisista vuoropuheluista viimeisen kymmenen vuoden aikana on ollut rajoitettua, koska tietokannat ja menetelmät ovat keskittyneet aiheeseen liittyviin tieteisiin, kuten visuaaliseen kysymyksiin vastaamiseen ja kuvailevaan tekstin generointiin.

Näissä vanhemmissa lähestymistavoissa kuvat arvioidaan sanastollisen kontekstin ulkopuolella, eikä niissä ymmärretä, miten vuoropuhelu kehittyy ja paranee kuva-vastauksilla, eikä niissä ole yhteistä skeemaa visuaalisten avustusten merkitysten tulkitsemiseen.

Kuvat vuoropuhelun ensisijaisina osina

Monet edellä mainituista lähestymistavoista ovat olleet Microsoftin AI-tutkimuksen aloitteita, jotka tutkivat vuonna 2017 myös monimodaalista vuoropuhelua, joka aloitetaan kuvalla, eikä käytä kuvia vapaasti vuoropuhelun osina.

Tutkijat ovat kehittäneet tietokannan, joka sisältää 45 000 vuoropuhelukohtausta, joissa kuvia käytetään ad hoc -tavoilla, eikä keskity viraalisiin “meme”-kuvien tutkimiseen; viimeksi mainittu on kiinnostava aihe kielen tutkimuksessa, mutta se on vähemmän haasteellinen, koska viraalisten memien merkitys voidaan johtaa helpommin tuhansien kontekstien kautta sosiaalisen median alustoilla.

Ilmastojen kehittäminen tekstin korvikkeeksi

Jotta voidaan kehittää menetelmä sanan/lauseen ja kuvan väliseen kaksisuuntaiseen translitterointiin, tutkijat ovat kouluttaneet koneoppimisjärjestelmän korvaamaan osia tekstipohjaisesta vuoropuhelusta semanttisesti merkityksellisillä kuva-aiheilla.

Etelä-Korean järjestelmän arkkitehtuuri monimodaalisen vuoropuhelun tietokannan generointiin. Lähde: https://arxiv.org/pdf/2107.08685.pdf

Kohdekäsitteiden esikäsittelyssä poistettiin stop-sanas, jotka voisivat estää seuraavan vuoropuhelun ennustamisen, ja heikkoja laatuja poistettiin kontekstuaalisten samankaltaisuuden suodattimien avulla.

Järjestelmän hyödyllisyyden testaamiseksi tutkijat asettivat moduulin ennustamaan seuraavan “vuoron” vuoropuhelussa, ottaen huomioon vuoropuhelun kontekstin ja mukana olevat kuvat.

Ihmisen arviointijärjestelmä, jota tutkimuksessa käytettiin.

Vuoropuhelun aineistoa varten käytettiin viittä ulkoista tietokantaa (joka on saatavilla GitHubissa). Kolme niistä ovat tekstipohjaisia: DailyDialog, joka on käsin annotoitu monivaiheinen tekstipohjainen aineisto vuodelta 2017; ja Facebookin EmpatheticDialogues ja PersonaChat, jotka molemmat ovat vuodelta 2018. Kaksi kuvapohjaista tietokantaa, joita käytettiin, olivat MS-COCO ja Flicker30k.

Kuva-/teksti-parit – JSON-skeema lauseista tietokannassa, jotka liittyvät kuviin (tässä esimerkissä) Microsoftin COCO-kuvauskannasta.

Teksti-kuvan korvaus järjestelmässä toteutettiin käyttämällä etukäteen koulutettua Visuaalisen Semanttisen Päättelyn Verkkoa (VSRN), joka kehitettiin vuonna 2019 Northeastern Universityssa Bostonissa. VSRN asetettiin toimimaan manuaalisesti valittujen lauseiden kanssa tekstiaineistoista.

Johdonmukaisuuden vakiinnuttaminen

Tietokantojen johdonmukaisuus vakiinnutettiin kehittämällä kuusi yhdistelmää kustakin vuoropuheluaineistosta, jotka liittyivät kuhunkin kuva-aineistoon, ja arvioitiin useita kertoja ihmisillä.

Ihmisten arviointi perustui kolmeen kriteeriin: johdonmukaisuus vuoropuhelun kontekstiin; kuvaan liittyvä keskeinen asia, jonka kuva yritti ilmaista; ja se, missä määrin kuva sisälsi avainkohteita kohdelauseesta.

Viimeksi mainitun kriteerin perusteella voidaan väittää, että tutkijoiden päättämä skeema on pitkälti laiminlyönyt mahdollisuuden humoristisen, ironisen, abstraktin tai metafyysisen merkityksen sisällyttämisen kuvaan, joka voisi sisällyttää tekstivuoropuheluun.

Kuitenkin tämä on merkittävää työtä, ja se on aloitettava jostakin, ja samalla tehdään merkittäviä ponnisteluja luonnollisen kielen prosessoinnin (NLP) alalla kartoittamaan sarkasmia sosiaalisessa mediassa.

Testaus

Järjestelmän testaamiseksi tutkijat käyttivät kolmiosaisen hakumallin, joka perustui Facebookin vuoden 2020 Image-Chat -tutkimukseen. Moduuli koostui Resnext-101: stä kuva-kooderinä; Googleen BERT: stä tekstikooderinä; ja mukautetusta yhdistämismoduulista näille.

Järjestelmä saavutti 50,35 ja 14,38 nykyisen ja seuraavan lauseen ennustustehtävissä, parantaen vertailukohdetta kummassakin tehtävässä.

Myöhemmin kaksi tutkijaa teki 100 monimodaalista vuoropuhelua lisäämällä kuvia vuoropuheluihin manuaalisesti ja ajamalla järjestelmää näillä “orgaanisilla” monimodaalisilla vuoropuheluilla. Järjestelmä pystyi ennustamaan nykyisiä ja seuraavia vuoropuheluita korkealla kontekstin tietoisuudella jopa näissä ad hoc -esimerkeissä.

Tulokset Korean monimodaalisen tietokannan generoimisjärjestelmän testauksesta, osoittavat johdonmukaisen korrelaation tekstin ja kuvan samankaltaisuuden ja ihmisten kysymyspistemäärien välillä samassa aineistossa.