Nauka sztucznej inteligencji, aby zrozumiała i wykorzystywała obrazy w dialogu

Naukowcy z Korei Południowej opracowali zestaw danych, który ma pomóc w badaniach nad zrozumieniem przez sztuczną inteligencję sposobu, w jaki ludzie używają obrazów w dialogu, oraz pomóc modelom języka naturalnego w uczestniczeniu w tym bardzo niedawnym rozwoju w komunikacji ludzkiej.

W artykule z KAIST w Daedeok Innopolis stwierdza się, że badania nad takimi wielomodalnymi systemami dialogowymi w ciągu ostatnich dziesięciu lat były utrudnione przez zestawy danych i metody, które koncentrują się na dziedzinach peryferyjnych w stosunku do tematu, takich jak odpowiedzi na pytania wizualne i podpisywanie obrazów.

W tych starszych podejściach obrazy są oceniane poza leksykalnym kontekstem rozmowy, bez zrozumienia sposobu, w jaki dialog jest ulepszany i rozwijany przez odpowiedzi obrazowe, oraz bez schematu międzydomenowego do dekodowania wkładu wkładu wizualnego w dyskurs.

Obrazy jako pierwszorzędne elementy dialogu

Wiele z wymienionych powyżej podejść do tej pory były inicjatywami lub rozwojem zespołu badawczego Microsoftu, który w 2017 roku również zajął się tematem rozmów wielomodalnych, które zaczynają się od obrazu, zamiast swobodnego używania obrazów jako składników dialogu.

Aby rozwiązać problem braku danych badawczych, południowokoreańscy naukowcy opracowali zestaw danych 45 000 przypadków dialogowych, w których użyto obrazów w sposób ad hoc, bez koncentrowania się na wirusowych obrazach “meme”; te ostatnie, chociaż są obszarem zainteresowania w badaniach języka, są prawdopodobnie mniej wyzwaniem, ponieważ znaczenie wirusowych memów może być wnioskowane łatwiej dzięki tysiącom użycia w kontekście na platformach społecznościowych.

Rozwój ilustracji jako substytutu tekstu

Aby opracować metodę transliteracji dwukierunkowej słowo/fraza>obraz, południowokoreańscy naukowcy przeszkolili system uczenia maszynowego, aby zastąpić części tekstu rozmowy treścią obrazową o podobnym znaczeniu.

Architektura systemu koreańskiego do generowania zestawu danych dla badań nad dialogiem wielomodalnym. Źródło: https://arxiv.org/pdf/2107.08685.pdf

Przetwarzanie wstępne fraz docelowych obejmowało usunięcie słów nieistotnych, które mogłyby utrudnić przewidywanie następnego “ruchu” w rozmowie, oraz przycinanie gorszych jakościowo wymian do filtra podobieństwa kontekstowego.

Aby przetestować przydatność zestawu danych, naukowcy ustalili moduł, który miał przewidywać następny “ruch” w dialogu, biorąc pod uwagę kontekst rozmowy i zaangażowane obrazy.

Interfejs oceny ludzkiej użyty w badaniach.

Pięć zewnętrznych zestawów danych zostało użytych jako materiał podstawowy dla zestawu 45k (który jest dostępny na GitHub). Trzy to elementy tekstowe: DailyDialog, ręcznie opatrzony adnotacjami zestaw tekstowy z 2017 roku; oraz EmpatheticDialogues i PersonaChat, oba z 2018 roku. Dwa zestawy danych obrazowych użyte to MS-COCO i Flicker30k.

Pary obraz/tresć – schemat JSON fraz w zestawie danych, powiązanych z obrazami (w tym przykładzie) z bazy danych obrazów Microsoftu COCO.

Zastępowanie tekstu obrazem w systemie było napędzane przez wstępnie przeszkolona Sieć Rozumowania Semantycznego Wizualnego (VSRN), opracowaną w 2019 roku na Northeastern University w Bostonie. VSRN została ustawiona do pracy na ręcznie wybranych frazach z zestawów danych tekstowych.

Ustanawianie spójności

Spójność zestawów danych źródłowych została ustalona przez opracowanie sześciu kombinacji każdego zestawu danych dialogowych, skorelowanych z przypadkami w każdym zestawie danych obrazowych, oraz ocenionych przez ludzi w kilku rundach.

Ocena ludzka była oparta na trzech kryteriach: zgodności z kontekstem wymiany; istotności obrazu do podstawowego pojęcia, które obraz próbował wyrazić; oraz stopnia, w jakim obraz zawierał kluczowe obiekty z zdania docelowego.

Biorąc pod uwagę ostatnie kryterium, można argumentować, że schemat, który naukowcy zdecydowali się na, w dużej mierze zignorował możliwość humorystycznych, sarkastycznych, abstrakcyjnych lub metafizycznych możliwości semantycznego znaczenia obrazu, które mogą być wstrzyknięte do rozmowy tekstowej.

Jednak jest to pionierska praca, i musi zacząć się gdzieś, podczas gdy znaczne wysiłki są wkładane gdzie indziej w sektorze Przetwarzania Języka Naturalnego (NLP), aby mapować przypadki sarkazmu, wśród innych mniej uchwytnej przykładów relacji obraz/tresć.

Testowanie

Aby przetestować ramę generowania danych, naukowcy użyli trójczęściowego modelu odzyskiwania opartego na badaniach Facebooka z 2020 roku Image-Chat. Moduł składa się z Resnext-101 jako kodera obrazu; BERT Google jako kodera tekstu; oraz niestandardowego modułu fuzji dla tych.

System osiągnął 50,35 i 14,38 w zadaniach przewidywania bieżącego i następnego zdania, poprawiając wynik podstawowy dla każdego zadania.

Później, dwóch naukowców zostało poproszonych o stworzenie 100 rozmów wielomodalnych przez wstawienie obrazów do rozmów ręcznie, oraz uruchomienie systemu przeciwko tym “organicznym” rozmowom wielomodalnym. System był w stanie przewidywać bieżące i następne wymiany z wysoką świadomością kontekstu nawet dla tych ad hoc przykładów.

Wyniki testowania systemu koreańskiego do generowania zestawu danych, ujawniające stale wysoką korelację między podobieństwem obraz/tresć a wynikami oceny ludzkiej na tych samych danych.