Miksi historiallinen kieli on haaste tekoälylle

Yksi keskeisimmistä haasteista luonnollisen kielen prosessoinnin (NLP) järjestelmissä on johtaa olennaisia oivalluksia laajasta kirjoitettujen materiaalien kirjosta. Uuden NLP-algoritmin koulutusaineistoa voivat muodostaa kielellisesti monimuotoinen lähde, kuten Twitter, sanomalehdet ja tieteelliset lehdet, joilla on jokaisella omat erikoiset ominaisuudet.

Useimmissa tapauksissa tämä on vain englannin kielelle; ja vain nykyisille tai äskettäin kirjoitettuille lähteille. Kun NLP-algoritmi joutuu tarkastelemaan materiaalia, joka on peräisin useista aikakausista, se yleensä kamppailee eri kielenkäytön ja kirjoitustapojen sovittamisessa yhteen eri kansallisissa ja alueellisissa yhteisöissä, ja erityisesti eri historiallisissa aikakausissa.

Silti, tekstiaineistojen (kuten historiallisten traktaattien ja vanhojen tieteellisten teosten) käyttäminen, jotka kattavat useita aikakausia, on potentiaalisesti hyödyllinen tapa saada historiallinen yleiskatsaus aiheesta ja muodostaa tilastollisia aikajanan rekonstruktioita, jotka edeltävät mittareiden käyttöönottoa ja ylläpitämistä tietyn alueen osalla.

Esimerkiksi, ilmastomuutoksen ennustamiseen käytettävien ilmastomallejen säätilan tiedot eivät olleet riittävän hyvin kirjattuina maailmanlaajuisesti vuoteen 1880 saakka, kun taas klassisten tekstien kaivaminen tarjoaa vanhempia tietoja suurista meteorologisista tapahtumista, jotka voivat olla hyödyllisiä Victorian aikaisen säätilan tietojen tarjoamiseksi.

Aikajärjestyksen epäsovitus

Uusi tutkimus yliopistosta Washingtonista ja Allen Institute for AI:sta on osoittanut, että jopa viiden vuoden aikajakso voi aiheuttaa aikajärjestyksen epäsovituksen, joka voi tehdä ennalta koulutetun NLP-mallin hyödyttömäksi.

Kaikissa tapauksissa, korkeammat pisteet ovat parempia. Tässä nähdään lämpökartta aikajärjestyksen heikentymisestä neljässä tekstikokoelmassa, jotka kattavat viiden vuoden aikajakson. Tällaiset epäsovituksia koulutus- ja arviointidata välillä voivat aiheuttaa ‘massiivisen suorituskyvyn laskun’, kuten tutkimuksen tekijät toteavat. Lähde: https://arxiv.org/pdf/2111.07408.pdf

Tutkimus toteaa:

‘Havaitsemme, että aikajärjestyksen epäsovitus vaikuttaa sekä kielen mallien yleistettävyyteen että tehtävän suorituskykyyn. Havaitsemme merkittävää vaihtelua heikentymisessä tekstien aihealueiden ja tehtävien välillä. Viiden vuoden aikana, luokittelijoiden F1-pisteet voivat heiketä jopa 40 pistettä (poliittinen sitoutuminen Twitterissä) tai vain yhden pisteen (Yelpin arvostelupisteet). Kaksi eri tehtävää, jotka on määritelty samalle aihealueelle, voivat näyttää eri tasoa heikentymistä ajan myötä.’

Epätasaiset jakautumiset

Perusongelma on, että koulutusaineistot jaetaan yleensä kahteen ryhmään, usein epätasaisella 80/20-suhteella, johtuen rajoitetusta aineistosta. Suurempi aineiston osa koulutetaan neuroverkkoon, kun taas loput aineistosta käytetään vertailuryhmänä algoritmin tarkkuuden testaamiseen.

Seoksessa olevissa aineistoissa, jotka kattavat useita vuosia, epätasainen aineiston jakautuminen eri aikakausille voi tarkoittaa, että arviointidata on epäsuhteellisesti koostettu yhden tietyn aikakauden materiaalista.

Tämä aiheuttaa sen, että se on huono testausalue mallille, joka on koulutettu monipuolisemmalle aikajaksoille (ts. koko saatavalle aineistolle). Vaikutelma on sama kuin kysytään isovanhaltanne arvioimaan viimeisimpiä K-Pop-idoleja.

Pitkä kiertotie olisi kouluttaa useita malleja paljon aikaa rajoittavammilla aineistoilla ja yrittää yhdistää yhdenmukaisia piirteitä kunkin mallin tuloksista. Kuitenkin satunnainen mallin aloitus johtaa omiin ongelmiihin saavuttamassa mallejen välistä yhdenmukaisuutta ja tasapuolisuutta – jo ennen kuin tarkastellaan, olivatko useat aineistot riittävän samanlaisia toisiinsa nähden tehdäkseen kokeen merkitykselliseksi.

Data ja koulutus

Aikajärjestyksen epäsovituksen arvioimiseksi tutkijat kouluttivat neljä tekstikokoelmaa neljällä aihealueella;

Twitter
…jossa he keräsivät merkintämättömiä tietoja poimimalla satunnaisen valikoiman 12 miljoonaa twiittiä tasaisesti vuosien 2015-2020 välillä, jossa tutkijat tutkivat nimettyjä entiteettejä (eli ihmisiä ja organisaatioita) ja poliittisia sitoutumisia.

Tieteelliset artikkelit
…jossa tutkijat hankkivat merkintämättömiä tietoja Semantic Scholar -korpukselta, joka käsittää 650 000 asiakirjaa 30-vuotiselta aikajaksolta, ja jossa he tutkivat mainintatyyppien luokittelua (SciERC) ja AI-tilan luokittelua (AIC, joka erottaa, julkaistuiko paperi AAAI:ssa vai ICML:ssä).

Uutisartikkelit
…jossa tutkijat käyttivät yhdeksää miljoonaa artikkelia Newsroom Datasetistä vuosilta 2009-2016, jossa he suorittivat kolme tehtävää: uutisoinnin yhteenveto, kustantajan luokittelu ja Media-kehyksen luokittelu (MFC), joka viimeksi mainittu tarkastelee eri aiheiden priorisointia uutisoinnissa.

Ruokailuun liittyvät arvostelut
…jossa tutkijat käyttivät Yelp Open Datasetiä yhdellä tehtävällä: arvostelun luokittelu (YELPCLS), joka on tyypillinen tunteen analyysihaaste monissa NLP-tutkimuksissa tässä alalla.

Tulokset

Mallit arvioitiin GPT-2:lla, ja tuloksena oli joukko F1-pisteitä. Tutkijat totesivat, että suorituskyvyn heikkeneminen aikajärjestyksen epäsovituksen vuoksi on kaksisuuntainen, eli mallit, jotka on koulutettu uudemmilla tiedoilla, voivat heiketä vanhemman aineiston vaikutuksesta, ja päinvastoin (ks. kuva artikkelin alussa). Tutkijat toteavat, että tämä vaikuttaa erityisesti sosiaalitieteellisiin sovelluksiin.

Yleisesti ottaen, tulokset osoittavat, että aikajärjestyksen epäsovitus heikentää suorituskykyä “merkittävästi”, ja vaikuttaa laajasti useimpiin tehtäviin. Aineistot, jotka kattavat erittäin pitkiä aikajaksoja, kuten vuosikymmeniä, voimistavat ongelmaa.

Tutkijat toteavat myös, että aikajärjestyksen epäsovitus vaikuttaa sekä merkittyihin että merkittämättömiin esikoulutusaineistoihin. Lisäksi heidän yrityksensä lieventää vaikutuksia alueen sovittamisen kautta (ks. alla) eivät parantaneet tilannetta merkittävästi, vaikka he väittävät, että aineiston tietojen hienosäätö aineistossa voi auttaa tiettyyn rajaan saakka.

Johtopäätös

Tutkijat vahvistavat aiemmin esitettyjä havaintoja, että aiemmin ehdotetut korjaavat toimenpiteet, kuten alueen sovittaminen (DAPT, jossa otetaan huomioon aineiston epäsovitus) ja aikajärjestyksen sovittaminen (jossa aineisto valitaan aikajakson mukaan), eivät auta ratkaisemaan ongelmaa.

Tutkimus johtaa siihen, että:

‘Kokeemme osoittivat merkittävää vaihtelua aikajärjestyksen heikentymisessä tehtävien välillä, enemmän kuin aiemmissa tutkimuksissa. Nämä havainnot motivoivat jatkuvaa tutkimusta aikajärjestyksen epäsovituksen ymmärtämiseksi NLP:n sovelluksissa, sen huomioon ottamista vertailuarvioissa ja valppautta käytännön sovellusten osalla, jotka voivat seurata järjestelmien suorituskykyä ajan myötä.

‘Huomattavasti, havaitsemme, että jatkuvan koulutuksen jatkaminen aikajärjestyksessä olevilla tiedoilla ei ole suurta vaikutusta, mikä motivoi edelleen tutkimusta löytääkseen tehokkaita aikajärjestyksen sovittamisen menetelmiä, jotka ovat vähemmän kalliita kuin jatkuva merkittyjen/merkittämättömien aineistojen kerääminen ajan myötä.’

Tutkijat ehdottavat, että jatkuvan oppimisen tutkiminen, jossa aineisto päivitetään jatkuvasti, voi olla hyödyllistä tässä suhteessa, ja että käsitteen siirtymä ja muut menetelmät, joilla havaitaan tehtävien muutoksia, voivat olla hyödyllisiä apuvälineitä aineistojen päivittämiseen.

* Minun muunnokseni sisäisistä viittauksista linkkeiksi.