Kuinka Tekstin Luokittelu Toimii?

Tekstin luokittelu on prosessi, jossa analyysi tehdään tekstisekvensseistä ja niille annetaan merkintä, asettamalla ne ryhmään sisällön perusteella. Tekstin luokittelu on lähes jokaisen tekoäly- tai koneoppimistehtävän perusta, joka liittyy luonnollisen kielen prosessointiin (NLP). Tekstin luokittelun avulla tietokoneohjelma voi suorittaa monia eri tehtäviä, kuten roskapostin tunnistamisen, mielipidetutkimuksen ja chatbot-toiminnon. Kuinka tekstin luokittelu toimii tarkalleen? Mitkä ovat eri menetelmät tekstin luokittelun suorittamiseen? Tutkimme näiden kysymysten vastauksia alla.

Tekstin Luokittelun Määrittely

On tärkeää ottaa hetki aikaa ja varmistaa, että ymmärrämme, mitä tekstin luokittelu on yleisesti, ennen kuin ryhdytään tutkimaan eri menetelmiä tekstin luokittelun suorittamiseen. Tekstin luokittelu on yksi niistä termeistä, jota sovelletaan moniin eri tehtäviin ja algoritmeihin, joten on hyödyllistä varmistaa, että ymmärrämme tekstin luokittelun peruskäsitteen ennen kuin siirrytään tutkimaan eri tapoja, joilla se voidaan suorittaa.

Mitä tahansa, joka liittyy tekstin luokittelun perusaskeliin, voidaan pitää tekstin luokitteluna. Riippumatta siitä, mitä tarkkaa menetelmää käytetään tekstin luokittelun suorittamiseen, järjestelmä suorittaa perusaskeleet, ja se voidaan pitää tekstin luokittelijana. Sähköpostiroskapostin havaitseminen, asiakirjojen järjestäminen aiheen tai otsikon mukaan ja mielipiteen tunnistaminen tuotteen arvostelussa ovat kaikki esimerkkejä tekstin luokittelusta, koska ne suoritetaan ottamalla teksti syötteenä ja tulostamalla luokan merkintä kyseiselle tekstille.

Kuinka Tekstin Luokittelu Toimii?

Kuva: Quinn Dombrowski via Flickr, CC BY SA 2.0 , (https://www.flickr.com/photos/quinnanya/4714794045)

Useimmat tekstin luokittelumenetelmät voidaan luokitella kolmeen eri kategoriaan: sääntöpohjaisiin menetelmiin tai koneoppimismenetelmiin.

Sääntöpohjaiset Luokittelumenetelmät

Sääntöpohjaiset tekstin luokittelumenetelmät toimivat käyttämällä eksplisiittisesti suunniteltuja kielellisiä sääntöjä. Järjestelmä käyttää insinöörien luomia sääntöjä määrittämään, mihin luokkaan tietty teksti kuuluu, etsimällä vihjeitä semanttisesti merkityksellisten tekstin elementtien muodossa. Jokaisella säännöllä on malli, jota teksti on täytettävä, jotta se voidaan luokitella vastaavaan kategoriaan.

Esimerkiksi, jos haluat suunnitella tekstin luokittelijan, joka pystyy erottamaan yleisiä keskustelun aiheita, kuten sää, elokuvat tai ruoka, voit kertoa luokittelijalle etsimään sääriippuvia sanoja tekstiesimerkeistä, joita se syötetään. Voit antaa luokittelijalle listan avainsanoja ja muita merkityksellisiä malleja, joita voidaan käyttää aiheen määrittämiseen. Esimerkiksi voit kertoa luokittelijalle etsimään sanoja kuten “tuuli”, “sade”, “aurinko”, “lumi” tai “pilvi”. Voit sitten antaa luokittelijan laskea, kuinka usein nämä sanat esiintyvät syötetyn tekstin runossa, ja jos ne esiintyvät useammin kuin elokuvaan liittyvät sanat, voit luokitella tekstin sääluokkaan.

Sääntöpohjaisten järjestelmien etu on, että niiden syötteet ja tulosteet ovat ihmisten ymmärrettävissä ja tulkitettavissa, ja niitä voidaan parantaa manuaalisella insinöörien välikätenä. Sääntöpohjaiset luokittelumenetelmät ovat kuitenkin myös jokseenkin hauraita, ja ne usein vaikeasti yleistyvät, koska ne voivat noudattaa vain ennalta määriteltyjä malleja, jotka on ohjelmoitu niihin. Esimerkiksi sana “pilvi” voi viitata kosteuteen ilmassa tai se voi viitata digitaaliseen pilveen, jossa data tallennetaan. On vaikea sääntöpohjaisille järjestelmille käsitellä näitä nuansseja ilman, että insinöörit joutuvat viettämään paljon aikaa manuaalisesti ennakoimassa ja säätämään näitä hienouksia.

Koneoppimisjärjestelmät

Kuten mainittiin aiemmin, sääntöpohjaisilla järjestelmillä on rajoituksia, koska niiden toiminnot ja säännöt on ennalta ohjelmoitu. Toisaalta, koneoppimisjärjestelmät toimivat soveltamalla algoritmeja, jotka analysoivat tietoja etsimään malleja, jotka liittyvät tiettyyn luokkaan.

Koneoppimisalgoritmit syötetään esimerkkejä, jotka on ennalta luokiteltu, ja niitä analyysi esimerkkien merkityksellisistä piirteistä. Nämä esimerkit ovat koulutusdataa.

Koneoppimisluokittelija analysoi koulutusdataa ja oppii malleja, jotka liittyvät eri luokkiin. Tämän jälkeen näkemättömiä esimerkkejä poistetaan merkinnöistään ja syötetään luokittelualgoritmiin, joka antaa esimerkkeille luokan merkinnän. Antamat merkinnät verrataan alkuperäisiin merkintöihin, jotta voidaan arvioida, kuinka tarkasti koneoppimisluokittelija oppi mallit, jotka ennustavat luokat.

Koneoppimisalgoritmit toimivat analysoimalla numeerista dataa. Tämä tarkoittaa, että tekstidata on muunnettava numeeriseen muotoon, jotta voidaan käyttää koneoppimisalgoritmia. On olemassa useita tapoja koodata tekstidata numeeriseksi dataksi ja luoda koneoppimismenetelmiä tämän datan ympärille. Käsittelemme joitakin näistä tavoista alla.

Sanapussi

Sanapussi on yksi yleisimmistä lähestymistavoista tekstidatan koodaamiseen ja esittämiseen. Termi “sanapussi” tulee siitä, että otat kaikki sanat asiakirjoista ja laitat ne yhteen “pussiin” ilman, että kiinnität huomiota sanojen järjestykseen tai kielioppiin, kiinnittäen huomiota vain sanojen frekvenssiin pussissa. Tämä johtaa pitkään taulukkoon tai vektoriin, joka sisältää yhden esityksen kaikista sanoista syötetystä asiakirjasta. Jos syötetystä asiakirjasta on 10 000 yksilöivää sanaa, ominaisuusvektorit ovat 10 000 sanan pituisia. Tämä on se, miten sanapussin tai ominaisuusvektorin koko lasketaan.

Kuva: gk_ via Machinelearning.co, (https://machinelearnings.co/text-classification-using-neural-networks-f5cd7b8765c6)

Kun ominaisuusvektorin koko on määritelty, jokainen asiakirja asiakirjojen luettelossa saa oman vektorin, joka on täytetty luvuilla, jotka ilmaisevat, kuinka usein sana esiintyy kyseisessä asiakirjassa. Tämä tarkoittaa, että jos sana “ruoka” esiintyy kahdeksan kertaa yhdessä tekstimääräisessä asiakirjassa, vastaava ominaisuusvektori/ominaisuusjoukko sisältää kahdeksan vastaavassa kohdassa.

Toisin sanoen, kaikki yksilöivät sanat, jotka esiintyvät syötetystä asiakirjassa, kerätään yhteen pussiin, ja jokainen asiakirja saa sanavektorin, joka on täytetty luvuilla, jotka ilmaisevat, kuinka usein sanat esiintyvät asiakirjassa.

Tekstikokoelmat sisältävät usein suuren määrän yksilöiviä sanoja, mutta useimmat niistä eivät ole hyvin yleisiä. Tästä syystä sanaa, jota käytetään luomaan sanavektori, rajoitetaan yleensä tiettyyn arvoon (N), ja ominaisuusvektorin ulottuvuus on silloin Nx1.

Sanan Frekvenssi – Inversiodokumenttifrekvenssi (TF-IDF)

Toinen tapa edustaa asiakirjaa sen sanojen perusteella on kutsuttu Sanan Frekvenssi – Inversiodokumenttifrekvenssi (TF-IDF):ksi. TF-IDF-lähestymistapa luo myös vektorin, joka edustaa asiakirjaa sen sanojen perusteella, mutta toisin kuin sanapussi, TF-IDF-painottaa sanoja enemmän kuin vain niiden frekvenssin. TF-IDF ottaa huomioon sanojen merkityksen asiakirjoissa, yrittäen määrittää, kuinka relevantti sana on asiakirjan aiheeseen. Toisin sanoen, TF-IDF analysoi sanojen merkitystä asiakirjan aiheesta, eikä vain sanojen frekvenssiä. Sanavektorin sanaääriä korvataan TF-IDF-pistemällä, joka lasketaan koko tietokokoelman suhteen.

TF-IDF-lähestymistapa toimii laskemalla ensin sanan frekvenssin, eli sanan esiintymisen määrän tietyssä asiakirjassa. TF-IDF myös rajoittaa hyvin yleisten sanojen, kuten “the”, “or” ja “and”, vaikutusta, koska nämä “stop-sanat” ovat hyvin yleisiä, mutta eivät anna paljoa tietoa asiakirjan sisällöstä. Nämä sanat on diskontattava, mikä on se, mitä TF-IDF:n “inversiodokumenttifrekvenssi”-osa tarkoittaa. Tämä tehdään, koska mitä useammin tietty sana esiintyy asiakirjoissa, sitä vähemmän se on hyödyllinen asiakirjojen erottamiseen toisistaan. TF-IDF:n kaava, jolla lasketaan sanan merkitystä, on suunniteltu säilyttämään sanat, jotka ovat useimmin esiintyvät ja semanttisesti rikkaimmat.

TF-IDF-menetelmällä luodut ominaisuusvektorit sisältävät normalisoidut arvot, jotka summaavat yhteen, ja jokaiselle sanalle annetaan painotettu arvo, joka lasketaan TF-IDF-kaavalla.

Sanaupotukset

Sanaupotukset ovat menetelmiä, joilla tekstiä voidaan edustaa siten, että sanat, joilla on samanlainen merkitys, ovat lähellä toisiaan numeerisessa edustajassa.

Sanaupotukset toimivat “vektorisoiden” sanoja, eli edustamalla sanoja reaaliarvoisina vektoreina vektoritilassa. Vektorit ovat suunnattuja ja niillä on suuruus (tai pituus). Kun sanoja edustetaan vektoreina, ne muunnetaan vektoreiksi, jotka koostuvat reaaliarvoista. Jokainen sana on kartoitettu yhteen vektoriin, ja sanat, joilla on samanlainen merkitys, ovat lähellä toisiaan. Tämä koodaus mahdollistaa koneoppimisalgoritmien oppimisen monimutkaisia suhteita sanojen välillä.

Sanojen edustajat, jotka luodaan sanaupotusten avulla, luodaan sen perusteella, miten sanat ovat käytetty. Koska sanat, jotka ovat käytetty samalla tavalla, ovat lähellä toisiaan, sanaupotusten prosessi kääntää osan sanan merkityksestä numeeriseksi edustajaksi. Sanapussi-lähestymistapa, toisin sanoen, luo hauraita edustauksia, joissa eri sanat ovat erilaisia edustauksia, vaikka ne ovat käytetty hyvin samankaltaisissa konteksteissa.

Tuloksena sanaupotukset ovat parempia sanan kontekstin havaitsemisessa lauseessa.

On olemassa eri algoritmeja ja lähestymistapoja sanaupotusten luomiseen. Jotkut yleisimmistä ja luotettavimmista sanaupotusmenetelmistä ovat upotuskerrokset, Word2Vec ja GloVe.

Upotuskerrokset

Yksi mahdollinen tapa käyttää sanaupotukset koneoppimisen/deep learning-järjestelmän yhteydessä on käyttää upotuskerrosta. Upotuskerrokset ovat deep learning -kerrokset, jotka muuntavat sanat sanaupotuksiksi, jotka syötetään loppuun deep learning-järjestelmään. Sanaupotukset oppivat, kun verkko koulutetaan tiettyyn tekstipohjaiseen tehtävään.

Sanaupotuslähestymistavassa samanmerkityksiset sanat ovat lähellä toisiaan ja eri merkityksiset sanat ovat kauempana toisistaan.

Upotuskerrosten käyttämiseen tarvitaan, että teksti on ensin esikäsitelty. Teksti asiakirjassa on koodattava yksikkövektoriksi, ja vektorin koko on määriteltävä etukäteen. Yksikköteksti muunnetaan sitten sanaupotuksiksi, ja upotukset syötetään koneoppimismalliin.

Word2Vec

Word2Vec on toinen yleinen sanaupotusmenetelmä. Word2Vec käyttää tilastollisia menetelmiä muuttaakseen sanat sanaupotuksiksi, ja se on optimoitu käytettäväksi neuroverkkopohjaisissa malleissa. Word2Vec kehitettiin Google-tutkijoilla, ja se on yksi yleisimmin käytetyistä upotusmenetelmistä, koska se antaa luotettavasti hyödyllisiä ja rikkaita upotukset. Word2Vec-edustajat ovat hyödyllisiä semanttisten ja syntaktisten yhteisuuksien tunnistamisessa kielessä. Tämä tarkoittaa, että Word2Vec-edustajat havaitsevat suhteita samankaltaisten käsitteiden välillä, pystyen erottamaan, että yhteys “Kuningas” ja “Kuningatar” on kuninkaallisuus, ja että “Kuningas” implikoi “miehisyyttä”, kun taas “Kuningatar” implikoi “naisellisuutta”.

GloVe

GloVe eli Global Vector for Word Representation perustuu sanaupotusalgoritmeihin, jotka ovat Word2Vecin kaltaisia. GloVe-yhdisteet yhdistävät osia sekä Word2Vecistä että matriisifaktorointitekniikoista, kuten Latent Semantic Analysis. Word2Vecin etu on, että se pystyy havaitsemaan kontekstin, mutta se ei ole hyvä havaitsemaan globaaleja tilastollisia tietoja. Perinteiset vektorirepresentaatiot ovat hyviä määrittämään globaaleja tilastollisia tietoja, mutta ne eivät ole hyödyllisiä määrittämään sanojen ja lauseiden kontekstia. GloVe ottaa parhaat osat molemmista lähestymistavoista ja luo sana-kontekstin perustuen globaaleihin tilastollisiin tietoihin.